可以请求python库在存储该页面的内容之前强制页面加载所有javasc

发布时间：2020-12-16 21:29:40 所属栏目：Python 来源：网络整理

导读：Beautifulsoup通常可用于(1)将页面内容存储在变量中 (2)解析网页中的元素. 但是它上面的Beautifulsoup本身无法打开 – 密码保护的HTTP错误403页.所以我使用了这个任务的请求. 现在我想知道Requests库是否能够强制加载页面上的javascript？我正在使用python2

Beautifulsoup通常可用于(1)将页面内容存储在变量中
(2)解析网页中的元素.

但是它上面的Beautifulsoup本身无法打开 – 密码保护的HTTP错误403页.所以我使用了这个任务的请求.

现在我想知道Requests库是否能够强制加载页面上的javascript？

我正在使用python2.7

请求是否具有request.open(some url).forceJavascriptLoad的能力

解决方法

不可以.请求无法以任何方式执行javascript.你需要一个所谓的“无头”网络浏览器来做你想要的. Here是其中一些的列表.作为建议,我建议你试试 PhantomJS,虽然它不是用Python编写的,但它有几个优点：

>易于设置和使用
>积极开发并且不像许多其他无头浏览器那样放弃
>有非常好的JavaScript支持
>很快
>提供预编译的二进制文件,以防您在编译内容时遇到问题

我自己尝试了很多无头浏览器,我对PhantomJS感到满意.如果您仍想尝试基于Python的无头浏览器,可以试试Ghost.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!