python简单爬虫
发布时间:2020-12-17 17:15:30 所属栏目:Python 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 import reimport urllibimport urllib.requestfrom collections import dequequeue = deque()#存放待爬取的网址visited = set()#存放爬取过的网址。判
以下代码由PHP站长网 52php.cn收集自互联网 现在PHP站长网小编把它分享给大家,仅供参考 import re import urllib import urllib.request from collections import deque queue = deque()#存放待爬取的网址 visited = set()#存放爬取过的网址。判断是否爬取过 url = "http://news.dbanotes.net"#入口网站 queue.append(url) count = 1 while queue: url = queue.popleft()#删除已经爬取过的队首的网址url visited |= {url}#把已经爬取过的页面放入set中,方便下面的判断 urlop = urllib.request.urlopen(url) if 'html' not in urlop.getheader('Content-Type'): continue#如果是html再继续爬取 try: data = urlop.read().decode('utf-8') except: continue value = re.findall(r'href="(.+?)"',data) for x in value: if 'http' in x and x not in visited: print("加入队列:" + x) 以上内容由PHP站长网【52php.cn】收集整理供大家参考研究 如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |