针对robots.txt的正则表达式

发布时间：2020-12-14 06:24:43 所属栏目：百科来源：网络整理

导读：我正在尝试设置我的robots.txt,但我不确定正则表达式. 我有四种不同的页面,全部有三种不同的语言版本.我认为我可以使用正则表达式而不是列出每页3次. nav.aspx page.aspx / changelang(可能附加了一个查询字符串,例如“？toLang = fr”.) mypage.aspx？id和l

我正在尝试设置我的robots.txt,但我不确定正则表达式.

我有四种不同的页面,全部有三种不同的语言版本.我认为我可以使用正则表达式而不是列出每页3次.

nav.aspx
page.aspx / changelang(可能附加了一个查询字符串,例如“？toLang = fr”.)
mypage.aspx？id和login.aspx / logoff(= 12346？…等 – 每次不同)

！所有四种语言有三种不同的语言,例如：

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx

现在,我的问题是：以下正则表达式是否正确？

User-Agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

谢谢

robots.txt中不允许使用正则表达式,但Googlebot(以及其他一些机器人)可以理解一些简单的模式匹配：

你的robots.txt应如下所示：

User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

用户代理指令对小写a有效.你不必逃避.或者`/’.

你可以在这里阅读更多相关信息：Block or remove pages using a robots.txt file

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!