ruby-on-rails – 在ruby中解析巨大的JSON文件的最佳方法

发布时间：2020-12-16 21:04:36 所属栏目：百科来源：网络整理

导读：我很难解析一个巨大的json文件. 该文件大于1GB,我尝试使用这两个宝石：ruby-stream和yajl,它们都不起作用. 这是一个发生了什么的例子. fileStr = File.read("hugeJSONfile.json") ^这部分没问题. 但是当我尝试将fileStr加载到JSON哈希(通过ruby-stream或yajl

我很难解析一个巨大的json文件.

该文件大于1GB,我尝试使用这两个宝石：ruby-stream和yajl,它们都不起作用.

这是一个发生了什么的例子.

fileStr = File.read("hugeJSONfile.json")

^这部分没问题.

但是当我尝试将fileStr加载到JSON哈希(通过ruby-stream或yajl)时,我的计算机冻结了.

关于如何更有效地做到这一点的任何其他想法？谢谢.

解决方法

看看 json-stream或 yajl：

来自文档的关键报价：

JSON流：

the document itself is never fully read into memory.

yajl：

The main benefit of this library is in its memory usage. Since it’s able to parse the stream in chunks,its memory requirements are very,very low.

您可以注册要查找的事件,并在读取JSON时返回键/值,而不是将其全部加载到ruby数据结构中(并因此加载到内存中).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!