重拾perl，写了个小爬虫
发布时间：2020-12-16 00:33:22 所属栏目：大数据 来源：网络整理
导读：一年没有用perl了，发现都快忘光了…… 用perl来获取网页信息是很简单的，用LWP module就可以了。 有些时候，比如在公司里，想要爬网页需要使用代理，perl里可以使用LWP::UserAgent来添加代理 use LWP::UserAgent;my $ua=LWP::UserAgent-new();$ua-proxy("ht
|
一年没有用perl了，发现都快忘光了…… 用perl来获取网页信息是很简单的，用LWP module就可以了。 有些时候，比如在公司里，想要爬网页需要使用代理，perl里可以使用LWP::UserAgent来添加代理 use LWP::UserAgent;
my $ua=LWP::UserAgent->new();
$ua->proxy("http","http://xxx.yyy.com");
$ua->env_proxy;
在获取链接内容的时候 my $result=$ua->get($url);
unless($result->is_success){
print LOG ("unable to get ".$url."n");//输出到日志文件
next;
}
my $content=$result->content;//得到网页内容 多线程我没有做，也许以后会补上吧
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |