Java – Apache Storm spouts可以相互通信吗？

发布时间：2020-12-15 03:06:45 所属栏目：Java 来源：网络整理

导读：我有一个目录,另一个进程将文件引入. 我们当前的Storm实现读取此目录并选择最旧的文件并打开该文件的阅读器.此读取器作为spout中的字段保存,因此当调用nextTuple()时,将从文件输出一行.一旦喷口完成读取,它将关闭阅读器并打开一个新的阅读器到一个新文件. 为

我有一个目录,另一个进程将文件引入.

我们当前的Storm实现读取此目录并选择最旧的文件并打开该文件的阅读器.此读取器作为spout中的字段保存,因此当调用nextTuple()时,将从文件输出一行.一旦喷口完成读取,它将关闭阅读器并打开一个新的阅读器到一个新文件.

为了增加吞吐量,一个想法是让多个spout同时读取多个文件,因为这些spout将在同一目录中的相同文件上进行争用,是否有一种方法可以在spouts之间进行通信,以便他们可以协商读取哪些文件？ (或者有一个将文件分配给spouts的总经理).

目录和文件存储在HDFS中并从中读取.

我认为开箱即用,没有办法让两个喷嘴一起沟通.
但是,你应该尝试 https://github.com/ptgoetz/storm-signals

BaseSignalSpout依赖于zookeeper在storm组件之间发送消息.

希望这有帮助！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!