Python urllib2下载网页的方法

urllib2下载网页方法:最简洁方法

# -*- coding: utf-8 -*-

import urllib2

#直接请求打开百度页面

response = urllib2.urlopen('http://www.baidu.com')

#获取状态吗，如果是200表示获取成功

print response.getcode()

#读取内容

con = response.read()

urllib2下载网页方法:添加data、http header

201605301464581634515793.png

# -*- coding: utf-8 -*-

import urllib2

# 创建Request对象

request = urllib2.Request(url)

# 添加数据

request.add_data('a','1')

#添加htt的header

request.add_header('User-Agent','Mozilla/5.0')

#发送请求获取结果

response = urllib2.urlopen(request)

urllib2下载网页方法3:添加特殊情景的处理器

HTTPCookieProcessor cookie

ProxyHandler 代理

HTTPSHandler https加密访问

HTTPRedirectHandler url跳转

201605301464586725739149.png

# -*- coding: utf-8 -*-

import urllib2,cookielib

# 创建cookie容器

cj = cookielib.CookieJar()

#创建1个opner

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opner

urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页

response = urllib2.urlopen('http://www.baidu.com')

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!