翻页抓取

以下代码由PHP站长网 52php.cn收集自互联网

现在PHP站长网小编把它分享给大家，仅供参考

#!/usr/bin/env python
#coding:utf-8
import urllib2
import re
import os
 
def getHtml(url):   #获取html源码
	headers={"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1"}
	req=urllib2.Request(url,headers=headers)
	response=urllib2.urlopen(req)
	html=response.read().decode('utf-8')
	return html
 
def urlPages(page):     #翻页
    url = 'https://but/company/lists/page/' + str(page)
    #print url
    return url
 
def findList(html):     #正则匹配列表
    myitems=re.findall('www.*?</td>',html,re.S)

    return myitems
 
for page in range(1,78+1):    #抓取的页数
    #print page
    html = getHtml(urlPages(page))
    items = findList(html)
    for item in items:
        s = item
        s=item.replace('</td>','')
        #print s
        file_object = open('but.txt','a')
        file_object.writelines(s+'n')
        file_object.close()

print (u'nn本王的网站下载完毕啦！')

以上内容由PHP站长网【52php.cn】收集整理供大家参考研究

如果以上内容对您有帮助，欢迎收藏、点赞、推荐、分享。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!