java – Kafka：从消费者端动态确定主题中分区数量的最佳方法是

发布时间：2020-12-15 04:21:13 所属栏目：Java 来源：网络整理

导读：我们有 Java代码来管理读取四个分区主题的Kafka流消费者的线程池(因此我们有四个消费者线程). 什么是动态检索分区数的推荐方法,以便线程池cat中的初始化代码设置正确的线程数？能够动态调整到越来越多的分区不是必需的. 看一下Java API(v.0.8.1),我找不到一

我们有 Java代码来管理读取四个分区主题的Kafka流消费者的线程池(因此我们有四个消费者线程).

什么是动态检索分区数的推荐方法,以便线程池cat中的初始化代码设置正确的线程数？

能够动态调整到越来越多的分区不是必需的.

看一下Java API(v.0.8.1),我找不到一种直接的方法.目前我正在浏览Scala源代码,我看到有希望的类(这个问题的Scala解决方案也受到欢迎),但是我也想向社区询问这个问题,以防有人已经找到了一个很好的方法.

谢谢,

您不应该让消费者线程计数与分区计数匹配.只需创建一些消费者线程,以最大限度地提高您的消费能力(例如,如果您正在执行大量CPU,则需要大约2倍的内核,如果您执行大量I / O,则会更多或更少,具体取决于其性质).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!