java – 如何以并行方式运行apache nutch不同的工作

发布时间：2020-12-15 00:21:32 所属栏目：Java 来源：网络整理

导读：我使用的是母鸡2.3.所有作业运行一个又一个,即第一个生成器,提取,解析,索引等.我想同时运行一些作业.我知道一些作业不能并行运行,但其他作业可以解析作业,dbupdate,indexjob应该用fetch运行. 可能吗？我的基本目标是一直运行抓取工作.我想我们可以用不同的

我使用的是母鸡2.3.所有作业运行一个又一个,即第一个生成器,提取,解析,索引等.我想同时运行一些作业.我知道一些作业不能并行运行,但其他作业可以解析作业,dbupdate,indexjob应该用fetch运行.

可能吗？我的基本目标是一直运行抓取工作.我想我们可以用不同的时间戳来做.
任何人都可以指导我正确的方法吗？

如果您查看了Nutch Web应用服务器,您将发现它可以并行执行多个爬网作业.您应该查看Nutch 2.3的源代码,用于webapp [NutchUiServer].希望这可以帮助.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!