加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

Ruby脚本’杀了’

发布时间:2020-12-17 03:15:34 所属栏目:百科 来源:网络整理
导读:我从命令行运行 ruby脚本.该脚本下载一个文件(15 MB),解压缩,将其解析为 JSON,然后用它填充mysql数据库. 当我运行它时,我收到一条简单的“被杀”消息.这是怎么回事?我怎样才能找出问题所在? 我在EC2微实例上使用它. 谢谢 这是脚本 require 'open-uri'requi
我从命令行运行 ruby脚本.该脚本下载一个文件(15 MB),解压缩,将其解析为 JSON,然后用它填充mysql数据库.

当我运行它时,我收到一条简单的“被杀”消息.这是怎么回事?我怎样才能找出问题所在?

我在EC2微实例上使用它.

谢谢

这是脚本

require 'open-uri'
require 'zlib'
require 'json'

require_relative '../db/db.rb'

dl = open('........')
ex = Zlib::GzipReader.new dl
json = JSON.parse ex.read
events = json['resultsPage']['results']['event']

puts "starting to parse #{events.count} event(s)..."
created = 0
updated = 0

events[1..10].each do |event|
    performances = event['performance']
    performances.each do  |performance|
        ar_show = Show.find_or_initialize_by_songkick_id performance['id']
        ar_show.artist_name = performance['displayName']
        ar_show.new_record? ? created += 1 : updated += 1
        ar_show.save!
    end
end

Import.create :updated => updated,:new => created
puts "complete. new: #{created}   -   updated: #{updated}"

解决方法

您几乎肯定会耗尽内存,因为微实例没有太多可用的内存或交换空间.我在Perl程序中遇到过这种情况.在处理大块数据时,动态语言可能会占用大量内存.

测试这个理论的最好方法是在一小时内启动一个小型或大型实例(因此你不会为此付出太多代价)并在那里尝试脚本.如果它运行,您知道微实例太小,无法运行您的程序.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读