在C/C++中搜索大文件中的数据

发布时间：2020-12-16 10:27:12 所属栏目：百科来源：网络整理

导读：我有一个日志文件,其格式为： DATE-TIME ### attribute1 ### attribute2 ###attribute3 ? 我必须在此日志文件中搜索输入属性(从命令行输入)并输出与输入属性匹配的行. 一个天真的方法可能是这样的： scan the entire file line by linesearch for the attrib

我有一个日志文件,其格式为：

DATE-TIME ### attribute1  ### attribute2 ###attribute3

我必须在此日志文件中搜索输入属性(从命令行输入)并输出与输入属性匹配的行.
一个天真的方法可能是这样的：

scan the entire file line by line
search for the attribute
print if found,else ignore.

这种方法很慢,因为它需要O(n)比较,其中n是可能非常大的行数.
另一种方法可能是使用散列表,但是为大文件保留这样的内存中散列表可能是不可能的.
那么,最可行的解决方案是什么？如何在各种属性上索引整个文件？

编辑：
日志文件可能大约是100K行,几乎就像linux上的系统日志文件一样.
在一次调用中,用户可以搜索多个属性,这些属性在第一个属性的搜索完成之前是未知的,就像交互式控制台一样.

谢谢,

解决方法

您可以通过仅在其中存储哈希值和文件偏移来减小哈希表的大小.如果属性仅具有固定的,相对较少的值,则您更有可能将整个哈希表适合内存.您为该属性的每个可能值分配一个id,然后为每个id值存储一个大的文件偏移列表.

当然,如果在程序的同一运行中,您执行多个不同的搜索,则哈希表才会有用.

显而易见的解决方案是将数据填充到数据库中,但我认为OP足够聪明,已经意识到已经并且有其他原因专门请求非数据库解决问题的方法.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!