获取一篇新闻的全部信息
发布时间:2020-12-14 06:08:34 所属栏目:百科 来源:网络整理
导读:给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newClick(用字符串处理,或正则表达式) i
给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击:
整个过程包装成一个简单清晰的函数。 ? 尝试去爬取一个你感兴趣的网页。 新闻链接:http://news.gzcc.cn/html/2018/xiaoyuanxinwen_1109/10359.html import requests from bs4 import BeautifulSoup from datetime import datetime import re url = ‘http://news.gzcc.cn/html/2018/xiaoyuanxinwen_1109/10359.html‘ # 获取新闻的全部信息 def newsinformation(url): news = requests.get(url) news.encoding = ‘utf-8‘ newSoup = BeautifulSoup(news.text,‘html.parser‘) #获取新闻标题 title = newSoup.select(‘.show-title‘)[0].text print(‘标题:‘ + title) # 获取新闻发布的相关信息 newInfo = newSoup.select(‘.show-info‘)[0].text #print(newInfo) # 发布时间 newDate = newInfo.split()[0].lstrip(‘发布时间:‘) newTime = newInfo.split()[1] newDateTime = newDate + ‘ ‘ + newTime print(‘发布时间:‘ + newDateTime) # 作者 author = newInfo.split()[2] print(author) # 审核 examine = newInfo.split()[3] print(examine) # 来源 source = newInfo.split()[4] print(source) # 获取点击次数的url id = re.findall(‘(d{1,7})‘,url)[-1] clickUrl = ‘http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80‘.format(id) click = requests.get(clickUrl) newClick = int(click.text.split(‘.html‘)[-1].lstrip("(‘").rstrip("‘);")) # 获取点击次数 print(‘点击次数:‘) print(newClick) newsinformation(url) 爬取结果:
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |