如何合并大型未分类文件中的行而不会耗尽Perl中的内存？
发布时间：2020-12-16 06:10:57 所属栏目：大数据 来源：网络整理
导读：我有一个非常大的列分隔文件来自数据库报告,如下所示： field1,field2,field3,metricA,value1field1,metricB,value2 我希望新文件具有这样的组合线,所以它看起来像这样： field1,value1,value2 我可以使用哈希来做到这一点.在此示例中,前三个字段是键,我将va
|
我有一个非常大的列分隔文件来自数据库报告,如下所示：
field1,field2,field3,metricA,value1 field1,metricB,value2 我希望新文件具有这样的组合线,所以它看起来像这样： field1,value1,value2 我可以使用哈希来做到这一点.在此示例中,前三个字段是键,我将value1和value按特定顺序组合为值.在我读完文件后,我只是将哈希表的键和值打印到另一个文件中.工作良好. 但是,由于我的文件非常大,我有一些担忧.每个文件大约8 GB. 会有更有效的方法吗？我不是在考虑速度,而是在内存占用方面.我担心这个过程会因内存问题而死亡.我只是在一个可行的解决方案上留下空白,但不会把所有东西都推到最后,最终是一个非常大的哈希. 为了完全公开,我在Windows上使用ActiveState Perl. 解决方法
如果您的行按键排序,或者由于某些其他原因,field1,field3的相等值相邻,则状态机将更快.只需读取这些行,如果字段与前一行相同,则发出两个值.
否则,至少,您可以利用这样一个事实：您有两个值,并在找到第二个值时从哈希中删除密钥 – 这应该会大大限制您的内存使用量. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |