java-Kafka JDBC连接器中的自定义分区分配
发布时间:2020-12-14 19:26:40 所属栏目:Java 来源:网络整理
导读:我有一个用例,其中我需要根据消息中的某些关键参数编写自定义逻辑来分配分区.我对此进行了一些研究,发现kafka转换支持重写Transformation接口中的某些方法,但是我无法在git hub或其他地方执行一些示例代码.有人可以共享示例代码或git hub链接在kafka JDBC源
我有一个用例,其中我需要根据消息中的某些关键参数编写自定义逻辑来分配分区.我对此进行了一些研究,发现kafka转换支持重写Transformation接口中的某些方法,但是我无法在git hub或其他地方执行一些示例代码.有人可以共享示例代码或git hub链接在kafka JDBC源连接器中进行自定义分区分配吗? 提前致谢!. 最佳答案
Kafka默认使用以下方法分配分区:DefaultPartitioner(org.apache.kafka.clients.producer.internals.DefaultPartitioner)
如果您需要使用某些自定义覆盖默认值,则可以,但是必须记住,该覆盖适用于所有源连接器. 转换方式: 在Transformation中也可以设置分区,但这不是正确的方法. 无论如何,如果您想为记录设置分区,则代码应如下所示:
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |