Python中使用urllib2模块编写爬虫的简单上手示例
提起python做网络爬虫就不得不说到强大的组件urllib2。在python中正是使用urllib2这个组件来抓取网页的。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。它以urlopen函数的形式提供了一个非常简单的接口。通过下面的代码简单感受一下urllib2的功能; import urllib2 response = urllib2.urlopen('http://www.baidu.com/') html = response.read() print html 运行结果如下; 查看http://www.baidu.com/源代码发现跟以上运行结果完全一样。这里的URL除了http:还可以是ftp:或file: import urllib2 req = urllib2.Request('http://www.baidu.com') response = urllib2.urlopen(req) page = response.read() print page 发现运行结果跟修改前一样。同时在http请求前你还需要做以下事1、发送表单数据。2、设置headers信息。 import urllib import urllib2 url = 'http://www.server.com/register.php' postData = {'useid' : 'user','pwd' : '***','language' : 'Python' } data = urllib.urlencode(postData) # 编码工作 req = urllib2.Request(url,data) # 发送请求同时传data response = urllib2.urlopen(req) #接受反馈的信息 page = response.read() #读取反馈的内容 同时urllib2还可以使用get方法传送数据。代码如下; import urllib2 import urllib data = {} data['useid'] = 'user' data['pwd'] = '***' data['language'] = 'Python' values = urllib.urlencode(data) print values name=Somebody+Here&language=Python&location=Northampton url = 'http://www.example.com/example.php' full_url = url + '?' + url_values data = urllib2.open(full_url) 2、设置headers信息;有些站点对访问来源做了限制,所以这里模拟User-Agent头,代码如下; import urllib import urllib2 url = 'http://www.server.com/register.php' user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0' values = {'useid' : 'user','language' : 'Python' } headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url,data,headers) response = urllib2.urlopen(req) page = response.read() urllib2就介绍到这里啦! 异常处理 import urllib import urllib2 url = 'http://www.server.com/register.php' user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0' values = {'useid' : 'user',headers) response = urllib2.urlopen(req) page = response.read() 查阅相关资料后显示Errno 10061表示服务器端主动拒绝。 import urllib2 req = urllib2.Request('http://www.python.org/callmewhy') try: urllib2.urlopen(req) except urllib2.URLError,e: print e.code 输出404代码,说明找不到页面。
#-*- coding:utf-8 -*- from urllib2 import Request,urlopen,URLError,HTTPError req = Request('http://www.python.org/callmewhy') try: response = urlopen(req) except URLError,e: if hasattr(e,'code'): print '服务器不能正常响应这个请求!' print 'Error code: ',e.code elif hasattr(e,'reason'): print '无法与服务器建立连接' print 'Reason: ',e.reason else: print '没有出现异常' 成功捕捉到异常! (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |