如何在Ruby中有效地解析大型文本文件

发布时间：2020-12-16 23:25:45 所属栏目：百科来源：网络整理

导读：我正在编写一个导入脚本来处理可能有数十万行(日志文件)的文件.使用一种非常简单的方法(下面)花了足够的时间和记忆,我觉得它会在任何时候取出我的MBP,所以我杀了这个过程. #...File.open(file,'r') do |f| f.each_line do |line| # do stuff here to line en

我正在编写一个导入脚本来处理可能有数十万行(日志文件)的文件.使用一种非常简单的方法(下面)花了足够的时间和记忆,我觉得它会在任何时候取出我的MBP,所以我杀了这个过程.

#...
File.open(file,'r') do |f|
  f.each_line do |line|
    # do stuff here to line
  end
end

这个文件特别有642,868行：

$wc -l nginx.log                                                                                                                                        /code/src/myimport
  642868 ../nginx.log

有没有人知道处理这个文件中每一行的更有效(内存/ CPU)方式？

UPDATE

上面的f.each_line中的代码只是将正则表达式与行匹配.如果匹配失败,我将该行添加到@skipped数组.如果它通过,我将匹配格式化为哈希(由匹配的“字段”键入)并将其附加到@results数组.

# regex built in `def initialize` (not on each line iteration)
@regex = /(d{1,3}.d{1,3}) - (.{0})- [([^]]+?)] "(GET|POST|PUT|DELETE) ([^s]+?) (HTTP/1.1)" (d+) (d+) "-" "(.*)"/

#... loop lines
match = line.match(@regex)
if match.nil?
  @skipped << line
else
  @results << convert_to_hash(match)
end

我对这是一个效率低下的过程完全开放.我可以使convert_to_hash中的代码使用预先计算的lambda,而不是每次都计算出计算结果.我想我只是假设行迭代本身就是问题,而不是每行代码.

解决方法

我刚刚对600,000行文件进行了测试,并在不到半秒的时间内对文件进行了迭代.我猜测缓慢不在文件循环中,而是行解析.你也可以粘贴你的解析代码吗？

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!