利用PHP抓取百度阅读的方法示例
前言这篇文章主要介绍的是,如何利用PHP抓取百度阅读的方法,下面话不多说,来一起看看吧。 抓取方法如下首先在浏览器里打开阅读页面,查看源代码后发现小说的内容并不是直接写在页面里的,也就是说小说的内容是通过异步加载而来的。 于是将chrome的开发者工具切到network一栏,刷新阅读页面,主要关注的是XHR和script两个分类下。 经过排查,发现在script分类下有个jsonp请求比较像是小说内容,请求的地址是 http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7 返回的是一个 再来分析一下返回数据的结构,返回的 这种结构最好解析了,用一个递归就搞定 最终代码如下:bookId = $bookId;
$this->bookToken = $bookToken;
$this->cookie = $cookie;
}
public static function parseNode($node){
$str = '';
if(is_string($node['c'])){
$str .= $node['c'];
}else if(is_array($node['c'])){
foreach($node['c'] as $d){
$str .= self::parseNode($d);
}
}
switch($node['t']){
case 'h2':
$str .= "nn";
break;
case 'br':
case 'div':
case 'p':
$str .= "n";
break;
case 'img':
case 'span':
break;
case 'obj':
$tmp = '(' . self::parseNode($node['data'][0]) . ')';
$str .= str_replace("n",'',$tmp);
break;
default:
trigger_error('Unkown type:'.$node['t'],E_USER_WARNING);
break;
}
return $str;
}
public function get($page = 1){
echo "getting page {$page}...n";
$ch = curl_init();
$url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page);
curl_setopt_array($ch,array(
CURLOPT_URL => $url,CURLOPT_RETURNTRANSFER => 1,CURLOPT_HEADER => 0,CURLOPT_HTTPHEADER => array('Cookie: '. $this->cookie)
));
$ret = json_decode(curl_exec($ch),true);
curl_close($ch);
$str = '';
if(!empty($ret)){
$str .= self::parseNode($ret);
$str .= $this->get($page + 1);
}
return $str;
}
public function start(){
$this->result = $this->get();
}
public function getResult(){
return $this->result;
}
public function saveTo($path){
if(empty($this->result)){
trigger_error('Result is empty',E_USER_ERROR);
return;
}
file_put_contents($path,$this->result);
echo "save to {$path}n";
}
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba','8ed1dedb240b11bf0731336eff95093f','你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');
这个类前两个参数可以从小说的介绍页面获得,第一个参数 注:如果不传入百度cookie 或者百度cookie 无效,则只能抓取免费阅读部分,要抓完整的内容必须保证cookie 可以正常使用。
总结以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用PHP能有一定的帮助,如果有疑问大家可以留言交流。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |