二级目录WordPress搜索引擎优化之robots.txt文件

1、Google和Baidu等搜素引擎不喜欢重复内容，尤其是重复的页面，如果它收录了你太多重复的页面，它就不爱你了，后果你懂的。

2、为了减少网站内多余的重复页面，我们可以使用robots.txt文件。

3、robots.txt是一个文本文件，放置于网站的根目录下，搜索引擎会定期抓取这个文件，并按照这个文件内指定的规则判断抓取哪些内容，不抓取哪些内容。

4、如果你的博客是WordPress，并且像Slyar这样是建在二级目录/blog下的，你仍旧需要把robots.txt文件放置于网站根目录下，只要在文件内指定二级目录即可。

5、不是所有的搜索引擎都支持allow语句，所以尽量不使用allow语句，全部用disallow代替。

6、搜索引擎会过滤URL中"#"(井号)后面的内容，所以锚点标记的URL你可以忽略。

7、以下是Slyar的robots.txt文件，你可以使用Google网站管理员工具里Google给出的抓取错误信息自己判断哪些URL需要Disallow.

User-agent: *
Disallow: /blog/?
Disallow: /blog/*.php$
Disallow: /blog/index.php?
Disallow: /blog/wp-content/uploads
Disallow: /blog/wp-content/plugins
Disallow: /blog/wp-content/themes
Disallow: /blog/wp-includes
Disallow: /blog/wp-admin
Disallow: /blog/*/comment-page-*
Disallow: /blog/feed/
Disallow: /blog/*/feed
Disallow: /blog/*/*/feed
Disallow: /blog/page/
Disallow: /blog/author
Disallow: /blog/*/*/page/
Disallow: /blog/wap

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!