python-使用beautifulsoup4进行抓取时数据丢失

发布时间：2020-12-17 17:40:19 所属栏目：Python 来源：网络整理

导读：实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页上显示“当前每百万价格”. 我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取

实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页上显示“当前每百万价格”.

我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取所需的数据.但是我坠毁了.

使用此方法以原始文本格式收集数据.我也尝试了其他方法.

def parseMe(url):
    soup = getContent(url)
    source_code = requests.get(url)
    plaint_text = source_code.text
    soup = BeautifulSoup(plaint_text,'html.parser')
    osrs_text = soup.find('div',class_='col-md-12 text-center')
    print(osrs_text.encode('utf-8'))

Please have a look on this image.我认为问题在于:: before和:: after标记.页面加载后它们就会出现.我们将不胜感激任何帮助.

最佳答案

该网页使XHR可以获取其中包含价格的JSON文件

import requests

r = requests.get('https://api.boglagold.com/api/product/?id=osrs-gold&couponCode=null')
j = r.json()
# print(j)
print('sellPrice',j['sellPrice'])
print('buyPrice',j['buyPrice'])

输出：

sellPrice 0.8
buyPrice 0.62

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!