scala – 从Kafka上的JSON消息在Spark Streaming中创建Spark Dat

发布时间：2020-12-16 08:56:07 所属栏目：安全来源：网络整理

导读：我正在 Scala中实现Spark Streaming,我从Kafka主题中提取 JSON字符串,并希望将它们加载到数据帧中.有没有办法做到这一点,Spark从RDD [String]中推断出自己的架构？解决方法是的,您可以使用以下内容： sqlContext.read//.schema(schema) //optional,makes i

我正在 Scala中实现Spark Streaming,我从Kafka主题中提取 JSON字符串,并希望将它们加载到数据帧中.有没有办法做到这一点,Spark从RDD [String]中推断出自己的架构？

解决方法

是的,您可以使用以下内容：

sqlContext.read
//.schema(schema) //optional,makes it a bit faster,if you've processed it before you can get the schema using df.schema
.json(jsonRDD)  //RDD[String]

我现在正试图这样做.我很好奇你是如何从卡夫卡那里得到RDD [String]的,我仍然认为Spark Kafka只做流媒体而不是“立即取出那里的东西”一次性批量.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!