PHP curl实现抓取302跳转后页面的示例
发布时间:2020-12-12 20:16:57 所属栏目:PHP教程 来源:网络整理
导读:PHP的CURL正常抓取页面程序如下: $ch = curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_VERBOSE,true); curl_setopt($ch,CURLOPT_HEADER,true); curl_setopt($ch,CURLOPT_NOBODY,CURLOPT_CUSTOMREQUEST,'GET'); curl_setopt($ch
PHP的CURL正常抓取页面程序如下: $ch = curl_init();
curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_VERBOSE,true); curl_setopt($ch,CURLOPT_HEADER,true); curl_setopt($ch,CURLOPT_NOBODY,CURLOPT_CUSTOMREQUEST,'GET'); curl_setopt($ch,CURLOPT_RETURNTRANSFER,CURLOPT_TIMEOUT,20); curl_setopt($ch,CURLOPT_AUTOREFERER,CURLOPT_FOLLOWLOCATION,true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch); 如果你抓取到的是302状态,是因为再抓取的过程中,有的跳转需要给下一个链接传递参数,而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。 显示就应该正常了。 上面用来抓取功能,几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。 使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”,”POST”,”CONNECT”等等。也就是说,不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0rnrn”是不正确的。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |