php – 谷歌可以抓取301页面吗？

发布时间：2020-12-13 18:27:35 所属栏目：PHP教程来源：网络整理

导读：谷歌或任何其他抓取工具是否可以抓取并索引返回301状态代码的网页？我在google上看过一个页面,它已经有301个月了.但是,索引中该页面的缓存日期是几天前的. 可以谷歌只是忽略301并抓取页面的内容？ Google总是抓取重定向的目标,HTTP 301也不例外.但是,找不到

谷歌或任何其他抓取工具是否可以抓取并索引返回301状态代码的网页？

我在google上看过一个页面,它已经有301个月了.但是,索引中该页面的缓存日期是几天前的.

可以谷歌只是忽略301并抓取页面的内容？

Google总是抓取重定向的目标,HTTP 301也不例外.但是,找不到比 one employee’s discussion post更好的来源. Google Search Appliance documentation说同样的,我不明白为什么GSA和GoogleBot应该以不同的方式处理重定向.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!