任何人都有任何C#代码来解析robots.txt并对其进行评估

有没有人有任何C#代码来解析robots.txt,然后针对它评估URLS,所以看看它们是否会被排除.

长问题：

我一直在为一个尚未发布到谷歌的新网站创建一个站点地图.站点地图有两种模式,一种是用户模式(如传统的站点地图)和一种“管理”模式.

管理员模式将显示网站上所有可能的URL,包括特定外部合作伙伴的自定义条目URL或URL,例如example.com/oprah,适用于在Oprah上查看我们网站的任何人.我想跟踪Excel电子表格以外的其他地方发布的链接.

我不得不假设有人可能会在他们的博客或某个地方发布/ oprah链接.我们实际上并不希望将这个“迷你oprah网站”编入索引,因为这会导致非oprah观众能够找到特殊的Oprah优惠.

所以在我创建站点地图的同时,我还添加了诸如/ oprah之类的URL,以便从我们的robots.txt文件中排除.

然后(这是实际问题)我认为“能够在站点地图上显示文件是否被索引并且对机器人可见”不是很好.这很简单 – 只需解析robots.txt然后评估一个链接.

然而,这是一个“奖励功能”,我当然没有时间去写它(甚至认为它可能不那么复杂) – 所以我想知道是否有人已经编写任何代码来解析robots.txt？