抓取tuigirl图片
发布时间:2020-12-17 17:04:04 所属栏目:Python 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 import urllib.requestimport reimport osimport sysfrom collections import dequeif __name__ == "__main__": url = "http://www.tuigirl8.com/foru
以下代码由PHP站长网 52php.cn收集自互联网 现在PHP站长网小编把它分享给大家,仅供参考 import urllib.request import re import os import sys from collections import deque if __name__ == "__main__": url = "http://www.tuigirl8.com/forum/view/" queue = deque() for i in range(1,2000): queue.append(url+str(i)) cnt = 0 while queue: url = queue.popleft() print(str(cnt)+url) cnt += 1 targetDir = r"D:/%d"%cnt if not os.path.isdir(targetDir): os.mkdir(targetDir) req = urllib.request.Request(url) try: webpage = urllib.request.urlopen(req,timeout=2) contentBytes = webpage.read() except: continue linkre = re.compile(r'(http:[^s]*?(jpg|gif|png))') for link,t in linkre.findall(str(contentBytes)): print(link) pos = link.rindex('/') t = os.path.join(targetDir,link[pos+1:]) urllib.request.urlretrieve(link,t) 以上内容由PHP站长网【52php.cn】收集整理供大家参考研究 如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |