加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

批量抓取豆瓣电影TOP250数据

发布时间:2020-12-17 17:24:16 所属栏目:Python 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 #!/usr/bin/env pythonimport urllib.requestfrom bs4 import BeautifulSoupmylist = []print(u'豆瓣电影TOP250:n 序号 t 影片名t 评分t 评价人数

以下代码由PHP站长网 52php.cn收集自互联网

现在PHP站长网小编把它分享给大家,仅供参考

#!/usr/bin/env python
import urllib.request
from bs4 import BeautifulSoup
mylist = []
print(u'豆瓣电影TOP250:n 序号 t 影片名t 评分t 评价人数t 评价')
def crawl(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    req = urllib.request.Request(url,headers=headers)
    page = urllib.request.urlopen(req,timeout=60)
    contents = page.read()
    soup = BeautifulSoup(contents)
    for tag in soup.find_all('div',class_='item'):
        try:
            m_order = int(tag.find('em',class_='').get_text())
            m_name = tag.span.get_text()
            m_rating_score = float(tag.find('div',class_='star').em.get_text())
            m_rating_num = tag.find('div',class_='star').span.next_sibling.next_sibling.get_text()
            m_comments = tag.find("span",class_="inq").get_text()
        except AttributeError:
            print("%s %s %s %s %s" % (m_order,m_name,m_rating_score,m_rating_num,"NO COMMENTS"))
            mylist.append((m_order,"NO COMMENTS"))
        else:
            print("%s %s %s %s %s" % (m_order,m_comments))
            mylist.append((m_order,m_comments))

pagenumber = []
for i in range(10):
    page_number = 25*i
    pagenumber.append(page_number)
pagelist = list(map(str,pagenumber))

BASE_URL = 'http://movie.douban.com/top250?start='
LAST_URL = '&filter=&type='
for url in [ BASE_URL + MID_URL + LAST_URL for MID_URL in pagelist ]:
    crawl(url)

import tablib
headers = ('m_order','m_name','m_rating_score','m_rating_num','m_comments')
mylist = tablib.Dataset(*mylist,headers=headers)
print(mylist.csv)
with open('D:doubanmovielist.xlsx','wb') as f:
    f.write(mylist.xlsx)

以上内容由PHP站长网【52php.cn】收集整理供大家参考研究

如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读