ruby-on-rails – 阻止了对craigslist的HTTP GET

发布时间：2020-12-17 03:39:25 所属栏目：百科来源：网络整理

导读：我正在尝试在craigslist sfbay.craigslist.org上进行HTTP GET.这是我的(ruby)代码,它非常简单 require 'net/http'result = Net::HTTP.get(URI.parse('http://sfbay.craigslist.org')) 我最终收到错误“此IP已被自动阻止.” 只有当我从Amazon EC2或heroku上尝

我正在尝试在craigslist sfbay.craigslist.org上进行HTTP GET.这是我的(ruby)代码,它非常简单

require 'net/http'
result = Net::HTTP.get(URI.parse('http://sfbay.craigslist.org'))

我最终收到错误“此IP已被自动阻止.”

只有当我从Amazon EC2或heroku上尝试此操作时,才会出现此问题.当我在我自己的计算机localhost上再次尝试时,我得到了正确的结果.这与Amazon EC2有关吗？

我想知道其他人是否有同样的问题.如何从EC2访问craigslist？

解决方法

我可以确认Craigslist是通过IP阻止主要的Amazon EC2 IP范围(而不是用户代理).它适用于其他地方,但我怀疑任何音量都会导致其他IP被阻止.

你可以用tor踩到它.更重要的是,this stackoverflow question discusses data sources used by craigslist mashups.

我甚至测试过巴西EC2,假设他们可能没有阻止所有的CIDR.没有bueno.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!