scala – Spark输出到kafka完全一次

发布时间：2020-12-16 18:31:48 所属栏目：安全来源：网络整理

导读：我想输出火花和火花流到卡夫卡一次.但正如医生说的那样 “输出操作(如foreachRDD)至少具有一次语义,即,如果发生工作失败,转换后的数据可能会被多次写入外部实体.” 要进行事务更新,spark建议使用批处理时间(在foreachRDD中可用)和RDD的分区索引来创建标识符.

我想输出火花和火花流到卡夫卡一次.但正如医生说的那样
“输出操作(如foreachRDD)至少具有一次语义,即,如果发生工作失败,转换后的数据可能会被多次写入外部实体.”
要进行事务更新,spark建议使用批处理时间(在foreachRDD中可用)和RDD的分区索引来创建标识符.该标识符唯一地标识流应用程序中的blob数据.代码如下：

dstream.foreachRDD { (rdd,time) =>
  rdd.foreachPartition { partitionIterator =>
    val partitionId = TaskContext.get.partitionId()
    val **uniqueId** = generateUniqueId(time.milliseconds,partitionId)
    // use this uniqueId to transactionally commit the data in  partitionIterator
  }
}

但是如何在kafka中使用uniqueId来进行事务提交.

谢谢

解决方法

Kixer的高级软件工程师Cody Koeninger在Spark Summit上讨论了与Kafka完全一致的解决方案.本质上,此解决方案涉及通过同时提交存储偏移量和数据.

在2016年的Confluent聚会上向工程师提到了一次专题,工程师们参考了Cody关于这一主题的讲座. Cloudera在http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/发表了他的演讲.Cody的论文发表于http://koeninger.github.io/kafka-exactly-once/#1,他的github(本主题)发表于https://github.com/koeninger/kafka-exactly-once.他的演讲视频也可以在网上找到.

更高版本的Kafka介绍Kafka Streams来处理没有Spark的一次性场景,但是这个话题只是一个脚注,因为问题的框架是与Spark一起工作.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!