scala – Cassandra spark连接器joinWithCassandraTable在具有不

发布时间：2020-12-16 09:08:16 所属栏目：安全来源：网络整理

导读：我正在寻找一个RDD和一个cassandra表的连接,它们对于同一个键没有相同的名称 ex(简化)： case class User(id : String,name : String) 和 case class Home( address : String,user_id : String) 如果想做： rdd[Home].joinWithCassandraTable("testspark","u

我正在寻找一个RDD和一个cassandra表的连接,它们对于同一个键没有相同的名称
ex(简化)：

case class User(id : String,name : String)

和

case class Home( address : String,user_id : String)

如果想做：

rdd[Home].joinWithCassandraTable("testspark","user").on(SomeColumns("id"))

如何确定要进行连接的字段的名称.
而且我不想将rdd映射到只有正确的id,因为我想在joinWithCassandraTable之后加入所有值.

解决方法

您可以像在select中一样使用“as”语法来更改连接列的映射.

一个例子

sc.cassandraTable[Home]("ks","home").joinWithCassandraTable("ks","user").on(SomeColumns("id" as "user_id")).collect

将用户表中的“id”列映射到Home case类的“user_id”字段.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!