Perl爬虫动手(抓首页)

发布时间：2020-12-16 00:01:28 所属栏目：大数据来源：网络整理

导读：下面的代码目前只实现了抓取首页，后面会改下，要求抓2级到3级页面。 # !/usr/bin/perl use HTML:: LinkExtor; use LWP:: Simple; sub sparit{ local ( $base_url )= shift ; # 抓取URL $parser = HTML::LinkExtor-new( undef , $base_url ); $parser -parse

下面的代码目前只实现了抓取首页，后面会改下，要求抓2级到3级页面。

#!/usr/bin/perl

use HTML::LinkExtor; use LWP::Simple; sub sparit{ local($base_url)= shift; # 抓取URL
  $parser = HTML::LinkExtor->new(undef,$base_url); $parser->parse(get($base_url))->eof; @links = $parser->links; foreach $linkarray (@links){ my @element = @$linkarray; my $elt_type = shift @element; while( @element){ my ($attr_name,$attr_value) = splice(@element,0,2); $seen{$attr_value}++; } } # 排序/去除非同站URL
  for (sort keys %seen){ if($_=~m#^$base_url#){
          push(@tmp_url,"$_n"); } } # 返回匹配的URL
  return @tmp_url; }

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!