php使用QueryList轻松采集js动态渲染页面方法
发布时间：2020-12-12 22:34:50 所属栏目：PHP教程 来源：网络整理
导读：QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 一、安装 使用Composer安装： 1.安装QueryList composer require jaeger/querylist GitHub: https://github.com/jae-jae/QueryList 2.
|
QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 一、安装使用Composer安装： 1.安装QueryList
GitHub: https://github.com/jae-jae/QueryList 2.安装PhantomJS插件
GitHub: https://github.com/jae-jae/QueryList-PhantomJS 二、下载PhantomJS二进制文件PhantomJS官网:http://phantomjs.org ，下载对应平台的PhantomJS二进制文件。 三、插件APIQueryList browser($url,$debug = false,$commandOpt = []):使用浏览器打开连接 四、使用以采集「今日头条」手机版为例，「今日头条」手机版基于React框架，内容是纯动态渲染出来的。 下面演示QueryList的PhantomJs插件用法: 1.安装插件 $ql = QueryList::getInstance();
// 安装时需要设置PhantomJS二进制文件路径 $ql->use(PhantomJs::class,'/usr/local/bin/phantomjs'); //or Custom function name $ql->use(PhantomJs::class,'/usr/local/bin/phantomjs','browser'); 2.Example-1 获取动态渲染的HTML: browser('https://m.toutiao.com')->getHtml();
print_r($html);
获取所有p标签文本内容: browser('https://m.toutiao.com')->find('p')->texts();
print_r($data->all());
输出: 自拍模式开启！国庆假期我和国旗合个影
[1] => 你旅途已开始 他们仍在自己的岗位上为你的假期保驾护航
[2] => 喜极而泣，都教授终于回到地球了！ //....)
使用http代理: browser('https://m.toutiao.com',true,[
// 使用http代理
'--proxy' => '192.168.1.42:8080','--proxy-type' => 'http'
])
3.Example-2 自定义一个复杂的请求： browser(function (JonnyWPhantomJsHttpRequestInterface $r){
$r->setMethod('GET');
$r->setUrl('https://m.toutiao.com');
$r->setTimeout(10000); // 10 seconds
$r->setDelay(3); // 3 seconds
return $r;
})->find('p')->texts();
print_r($data->all()); 开启debug模式，并从本地加载cookie文件： browser(function (JonnyWPhantomJsHttpRequestInterface $r){
$r->setMethod('GET');
$r->setUrl('https://m.toutiao.com');
$r->setTimeout(10000); // 10 seconds
$r->setDelay(3); // 3 seconds
return $r;
},[
'--cookies-file' => '/path/to/cookies.txt'
])->rules([
'title' => ['p','text'],'link' => ['a','href']
])->query()->getData();
print_r($data->all()); （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |