现在考虑有一个 jsonline 格式的文件 file.txt 大小约

时间:2019-07-30 00:16 来源:未知作者:zengmumu 点击:次

　你会看到这个提示，那是因为你的系统无法识别某栏目的模型信息，或者你新建模型后，没为这个模型设计单独的模板。不同模型的文档浏览页的模板为：article_模型名字标识.htm 如“article_article.htm”，更多的信息你可以在频道模型管理的地方查看。

附加标题 内容：
模板调用标记：

题型:1单选，2多选，3填空，4问答，5排序 内容：
模板调用标记：

选项A 内容：
模板调用标记：

选项B 内容：
模板调用标记：

选项C 内容：
模板调用标记：

选项D 内容：
模板调用标记：

答案内容：
模板调用标记：

之前处理文件的代码如下所示

 def get_lines():
 	l = []
 	with open('file.txt','rb') as f:
 		for eachline in f:
 			l.append(eachline)
 	return l
 if __name__ == '__main__':
 	for e in get_lines():
 		process(e) #处理每一行数据

现在要处理一个大小为 10G 的文件，但是内存只有 4G，如果在只修改 get_lines 函数而其他代码保持不变的情况下，应该如何实现？需要考虑的问题都有哪些？

 def get_lines():
 	l = []
 	with open(‘file.txt’，’rb’) as f:
 		data = f.readlines(60000)
 	l.append(data)
 	yield l

要考虑到的问题有：

内存只有 4G 无法一次性读入 10G 的文件，需要分批读入。分批读入数据要记录每次读入数据的位置。分批每次读入数据的大小，太小就会在读取操作上花费过多时间。

难度：1入门级，2初级，3中级，4高级 内容：
模板调用标记：

专业分类 内容：
模板调用标记：

(责任编辑：zengmumu)