如何对ajax型的网页数据进行抓取
|
如何对ajax型的网页数据进行抓取。 ，“更多新问题”就是发送的ajax请求。
其实抓ajax的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求，只要使用firebug类似的工具，找到请求的后端服务url和传值的参数，然后对该url传递参数进行抓取即可。利用firebug的网络工具，如图所示： 下面代码就是以车问网站为例，通过curl发送POST请求，获取一页的数据。（其实该url的数据可以直接通过GET获取） <?php $opt = "http://www.xx.com/proc/ajax/getHomeNewQuestion_ajax.jsp"; $post = "lastqid=50934&pgno=1&pagenum=20"; $curl = curl_init(); curl_setopt($curl,CURLOPT_RETURNTRANSFER,true); curl_setopt($curl,CURLOPT_POST,1); curl_setopt($curl,CURLOPT_POSTFIELDS,$post); curl_setopt($curl,CURLOPT_URL,$opt); $rs = curl_exec($curl); $rs = json_decode($rs); var_dump($rs); ?> 每次只需要更改参数pgno就相当于更改了分页的页码，然后再经行处理就与抓普通的列表页无异了。 ajax 异步数据如何抓取 示例，如题:http://you.ctrip.com/sight/hongkong38/22943.html li.des_icon_want 可是怎么抓取呢，用chrome的debug可以抓取，但是自己根据post构造url抓取，却没有返回结果，从网上搜索发现是异步请求 可能是你还没有理解我的问题。 谢谢啊，我用下面这段 php代码解决了问题： ?php $cookie_file=tempnam('./temp','cookie'); $ch = curl_init(); $url1 = "http://you.ctrip.com/sight/hongkong38/22943.html"; curl_setopt($ch,$url1); curl_setopt($ch,CURLOPT_HTTP_VERSION,CURL_HTTP_VERSION_1_1); curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,1); curl_setopt($ch,CURLOPT_FOLLOWLOCATION,CURLOPT_ENCODING,'gzip'); //加入gzip解析 //设置连接结束后保存cookie信息的文件 curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); $content=curl_exec($ch); curl_close($ch); $ch3 = curl_init(); $url3 = "http://you.ctrip.com/Destinationsite/SharedComm/ShowGowant"; $curlPost = "Resource=22943&pageType=Sight&rank=0.7574654158670455"; curl_setopt($ch3,$url3); curl_setopt($ch3,1); curl_setopt($ch3,$curlPost); //设置连接结束后保存cookie信息的文件 curl_setopt($ch3,CURLOPT_COOKIEFILE,$cookie_file); $content1=curl_exec($ch3); curl_close($ch3); （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |