java – kafka log-compaction消耗数据

发布时间：2020-12-15 01:06:23 所属栏目：Java 来源：网络整理

导读：我正在阅读最新版本的kafka中的日志压缩,我很好奇这对消费者有何影响.消费者的工作方式是否与以往一??样,或者是否有获得所有最新价值的新流程？使用“标准”Kafka主题,我使用一个使用者组来维护指向最新值的指针.但是,如果卡夫卡基于密钥而不是时间来保持价

我正在阅读最新版本的kafka中的日志压缩,我很好奇这对消费者有何影响.消费者的工作方式是否与以往一??样,或者是否有获得所有最新价值的新流程？

使用“标准”Kafka主题,我使用一个使用者组来维护指向最新值的指针.但是,如果卡夫卡基于密钥而不是时间来保持价值,我想知道消费者群体将如何运作？

最佳答案

它不会影响消费者的工作方式.如果您只对每个键的最新值感兴趣并阅读整个主题,您可能仍会看到一个键的“重复”(如果不是所有重复项都被删除,或者在最后一次压缩运行后写入了新消息),那么您只关心关于每个键的最新价值.

关于消费者群体：当主题被压缩时,有效偏移范围内存在“漏洞”.在定期使用主题时,您将自动跳过这些主题.

从https://kafka.apache.org/documentation.html#design_compactionbasics起

Note also that all offsets remain valid positions in the log,even if the message with that offset has been compacted away; in this case this position is indistinguishable from the next highest offset that does appear in the log. For example,in the picture above the offsets 36,37,and 38 are all equivalent positions and a read beginning at any of these offsets would return a message set beginning with 38.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!