python – 快速找到两个大文本文件之间的差异

发布时间：2020-12-16 23:05:36 所属栏目：Python 来源：网络整理

导读：我有两个3GB的文本文件,每个文件大约有8000万行.并且它们共享99.9％相同的行(文件A有6万个独特的行,文件B有8万个独特的行). 如何在两个文件中快速找到这些独特的行？有没有可以使用的命令行工具？我使用Python,但我猜想找到一个有效的Pythonic方法来加载文件

我有两个3GB的文本文件,每个文件大约有8000万行.并且它们共享99.9％相同的行(文件A有6万个独特的行,文件B有8万个独特的行).

如何在两个文件中快速找到这些独特的行？有没有可以使用的命令行工具？我使用Python,但我猜想找到一个有效的Pythonic方法来加载文件和比较是不太可能的.

任何建议是赞赏.

如果顺序重要,请尝试使用comm实用程序.如果顺序不重要,请排序file1 file2 | uniq -u

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!