PHP爬取网页的主要方法，你掌握了吗

<?php
//定义url
$url='[http://t.qq.com](http://t.qq.com/)';fiel函数读取内容数组
$lines_array=file($url);拆分数组为字符串
$lines_string=implode('',$lines_array);输出内容
echo $lines_string;

$url="[http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml](http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml)";

$html=file_get_contents($url);

如果出现中文乱码使用下面代码`

//$getcontent = iconv("gb2312","utf-8",$html);

echo"<textarea style='width:800px;height:600px;'>".$html."</textarea>";

<?php

定义url

fopen以二进制方式打开

$handle=fopen($url,"rb");变量初始化

$lines_string="";循环读取数据

do{

$data=fread($handle,1024); 

if(strlen($data)==0) {`

break;

}

$lines_string.=$data;

}while(true);关闭fopen句柄，释放资源

fclose($handle);输出内容

$lines_string;

<?header("Content-Type: text/html;charset=utf-8");

date_default_timezone_set('PRC');

$url = "https://***********ycare";要爬取的网址

$res = curl_get_contents(curl封装方法

preg_match_all('/<script>(.*?)</script>/',1)">$res,1)">$arr_all);这个网页中数据通过js包过来，所以直接抓js就可以

preg_match_all('/"id":"(.*?)",/',1)">$arr_all[1][1],1)">$arr1);从js块中匹配要的数据

$list = array_unique($arr1[1]);（可省）保证不重复

//以下则是同理，循环则可

for($i=0;$i<=6;$i=$i+2){

  $detail_url = 'ht*****em/'.$list[$i];

  $detail_res = curl_get_contents($detail_url);

  $detail_res,1)">$arr_detailpreg_match('/"desc":"(.*?)",1)">$arr_detail[1][1],1)">$arr_content);

  ***

    ***

    ***

  $ret=curl_post('http://**********cms.php',1)">$result);此脚本未放在服务器上，原因大家懂就好哈。

}

function curl_get_contents($cookie='',1)">$referer='',1)">$timeout=300,1)">$ishead=0) {

  $curl = curl_init();

  curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);

  curl_setopt($timeoutif($cookie)

  {

    curl_setopt( );

  }

  $referer)

  {

  curl_setopt ();

  }

  $ssl = substr(TRUE : FALSE;

  if ($ssl)

  {

    curl_setopt(false);

    curl_setopt($res = curl_exec($curlreturn $res;

  curl_close();

}

curl post数据到服务器

function curl_post($ch =$ch,1)">curl_setopt($ch,1);

  curl_setopt(true);

  $output = curl_exec($ch);

  curl_close($output;

}

?>

<?php

$fp = fsockopen("t.qq.com",80,1)">$errno,1)">$errstr,30if (!$fp) {

  echo "$errstr ($errno)<br />n";

} else {

  $out = "GET / HTTP/1.1rn";

  $out .= "Host: t.qq.comrn"$out .= "Connection: Closernrn"fwrite($fp,1)">$outwhile (!feof()) {

    echo fgets();

}

<?引入snoopy的类文件

require('Snoopy.class.php'初始化snoopy类

$snoopy=new Snoopy;

$url="[http://t.qq.com](http://t.qq.com/)";

开始采集内容`

$snoopy->fetch(保存采集内容到$lines_string

$lines_string=$snoopy->results;

输出内容，嘿嘿，大家也可以保存在自己的服务器上

$lines_string;