加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

获取一篇新闻的全部信息

发布时间:2020-12-14 06:08:34 所属栏目:百科 来源:网络整理
导读:给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newClick(用字符串处理,或正则表达式) i

给定一篇新闻的链接newsUrl,获取该新闻的全部信息

标题、作者、发布单位、审核、来源

发布时间:转换成datetime类型

点击:

  • newsUrl
  • newsId(使用正则表达式re)
  • clickUrl(str.format(newsId))
  • requests.get(clickUrl)
  • newClick(用字符串处理,或正则表达式)
  • int()

整个过程包装成一个简单清晰的函数。

?

尝试去爬取一个你感兴趣的网页。

新闻链接:http://news.gzcc.cn/html/2018/xiaoyuanxinwen_1109/10359.html

import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re

url = http://news.gzcc.cn/html/2018/xiaoyuanxinwen_1109/10359.html



# 获取新闻的全部信息
def newsinformation(url):
    news = requests.get(url)
    news.encoding = utf-8
    newSoup = BeautifulSoup(news.text,html.parser)

    #获取新闻标题
    title = newSoup.select(.show-title)[0].text
    print(标题: + title)

    # 获取新闻发布的相关信息
    newInfo = newSoup.select(.show-info)[0].text
    #print(newInfo)

    # 发布时间
    newDate = newInfo.split()[0].lstrip(发布时间:)
    newTime = newInfo.split()[1]
    newDateTime = newDate +   + newTime
    print(发布时间: + newDateTime)

    # 作者
    author = newInfo.split()[2]
    print(author)

    # 审核
    examine = newInfo.split()[3]
    print(examine)

    # 来源
    source = newInfo.split()[4]
    print(source)

    # 获取点击次数的url
    id = re.findall((d{1,7}),url)[-1]
    clickUrl = http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80.format(id)
    click = requests.get(clickUrl)
    newClick = int(click.text.split(.html)[-1].lstrip("(‘").rstrip("‘);"))  # 获取点击次数
    print(点击次数:)
    print(newClick)

newsinformation(url)

爬取结果:

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读