查看“页面源”显示的不同于cURL的HTML

发布时间：2020-12-14 01:26:36 所属栏目：Linux 来源：网络整理

导读：首先,我的问题与此不同： Difference between cURL and web browser? 我使用我的Chrome浏览器访问：http://www.walmart.com/search/browse-ng.do?cat_id=1115193_1071967然后,我查看页面源代码： a class =“js-product-title”href =“/ ip / Tide-Simply-C

首先,我的问题与此不同： Difference between cURL and web browser?

我使用我的Chrome浏览器访问：http://www.walmart.com/search/browse-ng.do?cat_id=1115193_1071967然后,我查看页面源代码：

< a class =“js-product-title”href =“/ ip / Tide-Simply-Clean-Fresh-Refreshing-Breeze-Liquid-Laundry-Detergent-138-fl-oz / 33963161”>

但是,我没有从命令行找到这种信息：

curl "http://www.walmart.com/search/browse-ng.do?cat_id=1115193_1071967">local.html

有谁知道为什么会造成这种差异？我正在使用Python scrapy选择器来解析网页.

解决方法

您的浏览器可以执行JavaScript,而JavaScript又可以更改文档. Curl只会为您提供简单的原始输出,而不是其他内容.

如果您在浏览器中关闭JavaScript并刷新页面,您将看到它的外观不同.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!