php – 基于cURL的HTTP请求可以完全模仿基于浏览器的请求吗？

发布时间：2020-12-13 13:49:46 所属栏目：PHP教程来源：网络整理

导读：这是一个两部分问题. Q1：基于cURL的请求可以100％模仿基于浏览器的请求吗？ Q2：如果是,应该设置所有选项.如果没有浏览器的额外功能,cURL无法模仿？我有一个网站,我看到在很短的时间内就有数千个来自单个IP的请求.这些请求收集了我的所有数据.查看日志以识

这是一个两部分问题.

Q1：基于cURL的请求可以100％模仿基于浏览器的请求吗？

Q2：如果是,应该设置所有选项.如果没有浏览器的额外功能,cURL无法模仿？

我有一个网站,我看到在很短的时间内就有数千个来自单个IP的请求.这些请求收集了我的所有数据.查看日志以识别所使用的代理时,它看起来像是来自浏览器的请求.所以很想知道它是机器人而不是用户.

提前致谢

R1：我想,如果你设置了所有正确的标题,那么,是的,基于卷曲的请求可以模仿基于浏览器的标题：毕竟,两者都发送一个HTTP请求,这只是几行文本之后的一个特定约定(即HTTP RFC)

R2：回答这个问题的最好方法是看一下你的浏览器发送的内容;例如,使用Firefox,您可以使用Firebug或LiveHTTPHeaders来获取它.

例如,要获取此页面,Firefox会发送这些请求标头：

GET /questions/1926876/can-a-curl-based-http-request-imitate-a-browser-based-request-completely HTTP/1.1
Host: stackoverflow.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2b4) Gecko/20091124 Firefox/3.6b4
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Referer: https://stackoverflow.com/questions/1926876/can-a-curl-based-http-request-imitate-a-browser-based-request-completely/1926889
Cookie: .......
Cache-Control: max-age=0

(我刚刚删除了一些信息 – 但你得到了这个想法;-))

使用curl,您可以使用curl_setopt来设置HTTP标头;在这里,您可能必须使用CURLOPT_HTTPHEADER,CURLOPT_COOKIE,CURLOPT_USERAGENT,……的组合.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!