asp.net – 如何阻止.net中的libwww-perl访问?
我正在使用在线工具测试我的网站,其中一个工具给了我这个警告:
我的网站是一个ASP.NET MVC 5网站,我只是添加这些行到我的“robots.txt”文件. User-agent: * Disallow: / User-Agent: bingbot Allow: / 但是,该工具仍然报告警告.问题是什么?我阻止所有机器人,只是设置bingbot允许. 解决方法
除非您提供在线扫描工具的网址或名称,否则我只能猜测它在发送用户代理:libwww-perl时尝试抓取您的网页,如果您在robots.txt中阻止了这一点.
其背景是,robots.txt包含良好行为的搜索引擎的规则,而不是恶意软件.从http://www.robotstxt.org/robotstxt.html: >机器人可以忽略您的/robots.txt.特别是恶意软件机器人 我假设“修复”此警告,如果HTTP头包含User-Agent:libwww-perl,则必须拒绝任何页面,图像或文件的所有请求.请参阅this question on configuring IIS以拒绝这些请求而不修改您的网站. 就个人而言,我不会否认这些要求,因为这不值得麻烦.在扫描工具中更改用户代理是很容易的,大多数已经允许模仿广泛使用的浏览器,因此安全增益将非常小.另一方面,可能存在一个不能使用的好的/合法的工具,因为它不会伪造其身份. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- ASP.NET本地化与单数和复数
- asp.net核心 – 无法在IISExpress中启动ASP.NET Core RC2 W
- asp.net-mvc – 如何将可视化设计器集成到开发过程中?
- asp.net-mvc – 带有实体框架的MVC控制器的T4模板 – 主机的
- asp.net-mvc – 今天在.NET中实现RESTful架构的最好方法是什
- asp.net-mvc – 从referrer获取参数
- 如何在ASP.NET中手动设置按钮输入类型?
- ASP.NET CAPTCHA实现
- asp.net – Web服务中的循环引用
- asp.net-mvc – 使用OWIN的Google身份验证Oauth在MVC5中没有
- asp.net-mvc – 带有lambda表达式的ASP.net MVC
- asp.net – 如何在web.config中设置text / html的
- asp.net-mvc-2 – 实体框架4 CTP 4/CTP 5通用存储
- asp.net-mvc-3 – MVC 3模型的复杂验证
- asp.net mvc基于jQuery+Ajax实现无刷新分页
- Autofac MVC与ASP.Net MVC集成4
- asp.net-mvc – 如何将httppostedfilebase转换为
- asp.net-mvc-3 – Telerik MVC网格,在运行时从集
- asp.net-mvc – 在ASP.NET MVC应用程序中测试Aut
- .net – 应用程序池回收时Cache会发生什么?