使用scala在Apache spark中连接不同RDD的数据集

发布时间：2020-12-16 09:48:30 所属栏目：安全来源：网络整理

导读：有没有一种方法来连接spark中两个不同RDD的数据集？要求是 – 我使用具有相同列名称的scala创建两个中间RDD，需要合并这两个RDD的这些结果并缓存结果以访问UI。如何在这里组合数据集？ RDD类型为spark.sql.SchemaRDD 解决方法我想你在寻找RDD.union val rd

有没有一种方法来连接spark中两个不同RDD的数据集？

要求是 – 我使用具有相同列名称的scala创建两个中间RDD，需要合并这两个RDD的这些结果并缓存结果以访问UI。如何在这里组合数据集？

RDD类型为spark.sql.SchemaRDD

解决方法

我想你在寻找RDD.union

val rddPart1 = ???
val rddPart2 = ???
val rddAll = rddPart1.union(rddPart2)

示例(在Spark-shell上)

val rdd1 = sc.parallelize(Seq((1,"Aug",30),(1,"Sep",31),(2,15),10)))
val rdd2 = sc.parallelize(Seq((1,"Oct",10),"Nov",12),5),15)))
rdd1.union(rdd2).collect

res0: Array[(Int,String,Int)] = Array((1,Aug,Sep,Oct,Nov,15))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!