php – 抓取工具如何解析网页上的文字？

发布时间：2020-12-13 16:16:19 所属栏目：PHP教程来源：网络整理

导读：像DOM这样的标准方法可以有选择地解析html页面,但我想知道爬虫(从小到大)如何检测要分析的主要文本在哪里？主要文本将被分析用于捕获其关键字,与菜单,侧边栏,页脚等混合使用.爬虫如何知道从菜单和侧面部分跳过关键字？我正在开发一个小型PHP项目来捕获各种

像DOM这样的标准方法可以有选择地解析html页面,但我想知道爬虫(从小到大)如何检测要分析的主要文本在哪里？

主要文本将被分析用于捕获其关键字,与菜单,侧边栏,页脚等混合使用.爬虫如何知道从菜单和侧面部分跳过关键字？

我正在开发一个小型PHP项目来捕获各种HTML页面中的关键字,我不知道如何避免从侧面内容中捕获关键字.任何人都可以描述或至少给我一个提示如何区分HTML页面中的其他主要内容？

侧栏,菜单和页脚通常在整个站点的每个页面上重复.实际内容通常对每个页面都是唯一的.您可以将其用作区分实际内容的指南.

爬虫还使用复杂的算法来分析页面上的文本,以确定其作为内容的权重,并且他们倾向于不分享他们的秘密.

没有快捷简便的方法,爬虫开发人员必须提出他们自己的创新方法,并共同使用这些方法来获得页面内容的整体情况.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!