百度baiduspider是否支持User-agent:Slurp

发布时间：2020-12-15 03:02:24 所属栏目：C语言来源：网络整理

导读：问题：百度baiduspider是否支持User-agent:Slurp？例如：搜搜的设置。 User-agent: Sosospider Crawl-delay: 5 抓取时间和频率限制回答：您好，这个问题已经得到百度官方人员，LEE的回答：可以在robots中的crawl-delay中设置，这个参数是baidu spider

问题：

百度baiduspider是否支持User-agent:Slurp？

例如：搜搜的设置。

User-agent: Sosospider

Crawl-delay: 5

抓取时间和频率限制

回答：

您好，这个问题已经得到百度官方人员，LEE的回答：

可以在robots中的crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保证严格遵守crawl-delay中的设置值。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!