java – 为什么将Avro与Kafka一起使用 – 如何处理POJO
|
我有一个春季应用程序,是我的kafka制作人,我想知道为什么avro是最好的方式去.
我读到了它以及它所提供的一切,但为什么我不能将我自己用杰克逊创建的POJO序列化并将其发送给kafka？ 我这样说是因为avro的POJO代并不是那么直截了当. 所以例如我在我的kafka制作人上创建了一个名为User的POJO： public class User {
private long userId;
private String name;
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public long getUserId() {
return userId;
}
public void setUserId(long userId) {
this.userId = userId;
}
}
我将其序列化并将其发送到我在kafka中的用户主题.然后我有一个消费者,它本身有一个POJO用户并反序列化该消息. 解决方法
你不需要AVSC,you can use an AVDL file,它基本上和只有字段的POJO相同
@namespace("com.example.mycode.avro")
protocol ExampleProtocol {
record User {
long id;
string name;
}
}
当使用Maven插件的idl-protocol目标时,将为您创建此AVSC,而不是您自己编写它. {
"type" : "record","name" : "User","namespace" : "com.example.mycode.avro","fields" : [ {
"name" : "id","type" : "long"
},{
"name" : "name","type" : "string"
} ]
}
它还会在您的类路径中放置一个SpecificData POJO User.java,以便在您的代码中使用. 如果您已经有POJO,则无需使用AVSC或AVDL文件.有转换POJO的库.例如,您can use Jackson,不仅仅是JSON,您只需要为Kafka创建一个JacksonAvroSerializer,或者查找是否存在. Avro也有built-in library based on reflection. 那么问题 – 为什么Avro(对于Kafka)？ 好吧,拥有一个架构是一件好事.想想RDBMS表,你可以解释一下表,然后你会看到所有的列.转移到NoSQL文档数据库,它们可以包含任何内容,这就是Kafka的JSON世界. 假设您的Kafka群集中的消费者不知道主题中的内容,他们必须确切地知道主题中产生了谁/什么.他们可以尝试控制台消费者,如果它是像JSON这样的明文,那么他们必须弄清楚他们感兴趣的一些字段,然后一次又一次地执行类似HashMap的.get(“name”)操作,只运行当一个字段不存在时进入NPE.使用Avro,您可以清楚地定义默认值和可空字段. 您不需要使用模式注册表,但它为RDBMS类比提供了这种类型的解释主题语义.它还使您无需发送架构以及每条消息,以及Kafka主题上额外带宽的费用.注册表不仅对Kafka有用,因为它可以用于Spark,Flink,Hive等所有围绕流数据摄取的数据科学分析. 假设你确实想使用JSON,那么try using MsgPack instead你可能会看到你的Kafka吞吐量增加并节省了经纪人的磁盘空间 您还可以使用其他格式,如Protobuf或Thrift,as Uber has compared （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |