在c中高效地阅读大的txt
发布时间:2020-12-16 02:59:39 所属栏目:百科 来源:网络整理
导读:我必须在C中读取一个大文本文件( 10 GB).这是一个具有可变长度行的csv文件.当我尝试使用ifstream读取它,但它需要很长时间,我想这是因为每次我读取一行它去磁盘和读取,这使得它非常慢. 有没有办法阅读buffe,例如一次读250 MB(使用ifstream的read方法),然后从
我必须在C中读取一个大文本文件(> 10 GB).这是一个具有可变长度行的csv文件.当我尝试使用ifstream读取它,但它需要很长时间,我想这是因为每次我读取一行它去磁盘和读取,这使得它非常慢.
有没有办法阅读buffe,例如一次读250 MB(使用ifstream的read方法),然后从这个缓冲区中获取行,我看到很多问题,像缓冲区这样的解决方案可以有不完整的行等. 是否有一个解决方案在这c处理所有这些情况等.有没有任何开源库可以做到这一点,例如boost等? 注意:我想避免c stye FILE *指针等 解决方法
尝试使用
Windows内存映射文件功能.这些调用被缓存,你可以像处理一个文件一样对待一个文件.
memory mapped files (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |