如何使用Perl从使用AJAX的网站收集数据？

发布时间：2020-12-16 06:25:58 所属栏目：大数据来源：网络整理

导读：这可能看起来有点倒退,但我想使用Perl(如果可能的话,使用Curl)从使用Ajax的站点获取数据以填充带有信息的 HTML shell.如何进行这些 Javascript调用以获取我需要的数据？该网站在这里：http://www.jigsaw.com/showContactUpdateTab.xhtml?companyId=224230

这可能看起来有点倒退,但我想使用Perl(如果可能的话,使用Curl)从使用Ajax的站点获取数据以填充带有信息的 HTML shell.如何进行这些 Javascript调用以获取我需要的数据？

该网站在这里：http://www.jigsaw.com/showContactUpdateTab.xhtml?companyId=224230

解决方法

请记住,AJAX调用是普通的HTTP请求,因此您始终应该能够执行它们.

在您正在谈论的网站上打开Firebug或Web Inspector,您会看到一些XHR调用：

XHR finished loading: “http://www.jigsaw.com/dwr/interface/UserActionAPI.js”.
“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getMostPurchasedContacts.dwr”.
“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyGraveyardedContacts.dwr
“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyAddedContacts.dwr”.
“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyTitleChangedContacts.dwr”

好极了！现在您知道从哪里获取数据了.他们的脚本对上面的URL使用POST HTTP请求,因此如果您在浏览器中打开它们,您将看到各种引擎错误.

当您(例如通过Web Inspector调试器)嗅探他们的AJAX POST请求时,您将看到下一个正文：

“callCount=1
page=/showContactUpdateTab.xhtml?companyId=224230
httpSessionId=F5E7EC4A45DFCE87B969A9F4FA06C361
scriptSessionId=D020EFF4333283B907402687182D03E034
c0-scriptName=UserActionAPI
c0-methodName=getRecentlyGraveyardedContacts
c0-id=0
c0-param0=number:224230
c0-param1=boolean:false
c0-param2=boolean:false
batchId=1
“

我很确定,他们正在生成一堆安全会话ID以避免数据挖掘者.您可能需要深入了解他们的JavaScript代码以了解有关这些生成器的更多信息.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!