Python：Beautifulsoup返回None或[]

发布时间：2020-12-20 11:09:01 所属栏目：Python 来源：网络整理

导读：你好我正在练习我的请求和网络抓取技巧,所以我试图刮掉youtube上的趋势页面,并拉出趋势的视频的标题,这是这个链接 youtube 这是运行的代码 import requestsfrom bs4 import BeautifulSoupurl = 'https://www.youtube.com/feed/trending'html = requests.get(

你好我正在练习我的请求和网络抓取技巧,所以我试图刮掉youtube上的趋势页面,并拉出趋势的视频的标题,这是这个链接 youtube

这是运行的代码

import requests
from bs4 import BeautifulSoup

url = 'https://www.youtube.com/feed/trending'
html = requests.get(url)
soup = BeautifulSoup(html.content,"html.parser")
a = soup.find_all("a",{"id": "video-title"})
print(a)

并返回[],我不明白为什么它在源代码中返回[]时,

解决方法

打印变量html.content的内容 – 它是否包含该ID？

我的赌注是否定的,youtube.com是一个依赖javascript的网站,但是请求模块没有js引擎.您的浏览器通常看到的不是请求所看到的模块.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!