ruby-on-rails – 为什么Google Bot抓取不存在的CSS文件？

发布时间：2020-12-16 20:58:55 所属栏目：百科来源：网络整理

导读：Google Bot Crawler一直在尝试抓取生产中我网站上不存在的CSS文件. 它要求： http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css 生产中不存在这个确切的文件名(生产中的文件名略有不同). 但是,它请求的CSS文件确实存在于开发中：

Google Bot Crawler一直在尝试抓取生产中我网站上不存在的CSS文件.

它要求：

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css

生产中不存在这个确切的文件名(生产中的文件名略有不同).

但是,它请求的CSS文件确实存在于开发中：

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css

我不确定为什么要求这个文件.

在部署到生产之前,我使用Capistrano(加载“deploy / assets”)来预编译我的资产.

现在,我只是在robots.txt中阻止此文件,但它在每次部署后请求的css文件都会更改.

为什么GoogleBot要抓取生产网站中不存在的此文件？我怎么阻止它？

解决方法

GoogleBot可能会看到两件事之一：

>它会在您的网站上看到该文件被错误引用的位置 – I.E.旧代码构建.我会在你的实际网站(捆绑)中搜索该文件.
>它会记住以前版本中的文件,并且正在尝试检查它是否有更新.

让我感到困惑的是,在您的服务器发出404响应之后,它不会忽略它,但Google软件的内部工作方式是一个黑盒子;没有真正的方法可以告诉它为什么会这样做.

也就是说,他们提供Webmaster Tools Panel,允许您对索引进行一些自定义等.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!