在长时间运行的Python进程中迭代大型数据集 – 内存问题？

在构建处理数据的模型时,需要考虑两个概念.

>您的数据需要访问的最小元素是什么才能执行给定的计算？例如,您可能有一个300GB的文本文件,其中包含数字.如果您要计算数字的平均值,请一次读取一个数字来计算运行平均值.在此示例中,最小元素是文件中的单个数字,因为这是我们需要在任何时间点考虑的数据集的唯一元素.
>您如何为应用程序建模,以便在计算过程中一次一个地迭代访问这些元素？在我们的示例中,我们不是一次读取整个文件,而是一次从文件中读取一个数字.使用这种方法,我们使用少量内存,但可以处理任意大的数据集.不要在内存中传递对数据集的引用,而是传递数据集的视图,该数据集知道如何根据需要从中加载特定元素(一旦使用就可以释放).这在原理上类似于缓冲,并且是许多迭代器采用的方法(例如,xrange,open的文件对象等).

一般来说,诀窍是理解如何将问题分解成微小的,恒定大小的碎片,然后将这些碎片一个接一个地拼接在一起以计算结果.您会发现这些数据处理租户与构建支持大规模并行性的应用程序齐头并进.

望着gc正在跳枪.您只提供了关于您正在处理的内容的高级描述,但是从您所说的内容来看,您还没有理由在内存管理方面进行复杂化.根据您正在进行的分析类型,考虑调查numpy,旨在减轻繁重的统计分析负担.