在Ruby中解析大文件的最快方法

发布时间：2020-12-16 19:04:40 所属栏目：百科来源：网络整理

导读：我有一个约150mb的简单文本文件.我的代码将读取每一行,如果它匹配某些正则表达式,它将被写入输出文件. 但是现在,只需要很长时间来遍历文件的所有行(几分钟)就可以了 File.open(filename).each do |line| # do some stuffend 我知道这是循环文件的线路需要一

我有一个约150mb的简单文本文件.我的代码将读取每一行,如果它匹配某些正则表达式,它将被写入输出文件.
但是现在,只需要很长时间来遍历文件的所有行(几分钟)就可以了

File.open(filename).each do |line|
  # do some stuff
end

我知道这是循环文件的线路需要一段时间,因为即使我对“#do some stuff”中的数据什么都不做,它仍然需要很长时间.

我知道有些unix程序几乎可以立即解析像这样的大文件(比如grep),所以我想知道为什么ruby(MRI 1.9)需要这么长时间才能读取文件,是否有某种方法可以让它更快？

解决方法

File.readlines.each do |line|
  #do stuff with each line
end

将整个文件读入一行数组.它应该快得多,但它需要更多的内存.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!