ruby-on-rails – 如何防止滥用抓取工具抓取部署在Heroku上的rai

发布时间：2020-12-17 03:45:03 所属栏目：百科来源：网络整理

导读：我想限制爬虫访问我在Heroku上运行的rails应用程序.如果我使用Apache OR nginX,那将是一项直接的任务.由于应用程序部署在Heroku上,我不确定如何限制HTTP服务器级别的访问. 我曾尝试使用robots.txt文件,但有问题的抓取工具不尊重robot.txt. 这些是我正在考虑

我想限制爬虫访问我在Heroku上运行的rails应用程序.如果我使用Apache OR nginX,那将是一项直接的任务.由于应用程序部署在Heroku上,我不确定如何限制HTTP服务器级别的访问.

我曾尝试使用robots.txt文件,但有问题的抓取工具不尊重robot.txt.

这些是我正在考虑的解决方案：

1)rails层中的before_filter限制访问.

2)基于机架的解决方案来限制访问

我想知道是否有更好的方法来解决这个问题.

解决方法

我读过有关蜜罐解决方案的内容：您有一个不能被抓取的URI(将其放在robots.txt中).如果任何IP调用此URI,则阻止它.我将它实现为Rack中间件,因此点击不会转到完整的Rails堆栈.

对不起,我用Google搜索,但找不到原始文章.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!