在PHP中跟踪和测试滥用客户端

我正在开发一个将取代现有网站的网站.从历史上看,我们遇到的一个问题是蜘蛛机器人进来并榨取所有内容.现在我们不介意正在下载内容.事实上,我们很高兴,但是一些批量下载器和下载加速器已证明与当前站点有问题.

我正在寻找的东西是我的PHP开头的东西,它首先运行.它需要页面请求的指纹(ip,referrer,请求uri,cookie,会话ID,等等)并将其传递给……某事.然后,在最后一秒或三秒内将指纹与指纹进行比较.然后,它根据一些预先配置的阈值返回一条消息,该消息如何处理请求.

一些阈值是：

>用户已请求>最后0.n秒内的x页.
>用户在<中请求了相同的页面. 0.n秒.
>用户在最近n秒内向表单提交了相同的数据.

所以你看我正在看一些非常紧凑的窗户.检测到这样的事情是否可行？我能用某种文件或db数据源来做吗？无论我用什么来存储页面加载之间的指纹,都会经历大量的流失,因为大多数数据将被保留一两秒钟.我应该只是解析apache日志以检查阈值吗？我是否应该寻找某种外部守护进程来保存内存中可以从脚本调用的内存中的第二个或第二个数据？在apache中有什么东西可以处理这个问题,我只需要向服务器人员解决这个问题吗？

假设我可以在PHP或某些名为外部守护进程中执行此操作,如何响应超出阈值的行为？我的直觉说HTTP响应,比如408或503,但我的直觉常常是错误的.我该怎么做才能告诉客户稍微退后一步？某种“Woah there”页面？