scala – 如何将RDD [Row]转换为RDD [String]

发布时间：2020-12-16 09:51:54 所属栏目：安全来源：网络整理

导读：我有一个名为source的DataFrame,一个来自 mysql的表 val source = sqlContext.read.jdbc(jdbcUrl,"source",connectionProperties) 我已将它转换为rdd val sourceRdd = source.rdd 但它的RDD [Row]我需要RDD [String] 做转换就像 source.map(rec = (rec.split

我有一个名为source的DataFrame,一个来自 mysql的表

val source = sqlContext.read.jdbc(jdbcUrl,"source",connectionProperties)

我已将它转换为rdd

val sourceRdd = source.rdd

但它的RDD [Row]我需要RDD [String]
做转换就像

source.map(rec => (rec.split(",")(0).toInt,rec)),.subtractByKey(),etc..

谢谢

解决方法

你可以使用Row. mkString(sep：String)：地图调用中的String方法,如下所示：

val sourceRdd = source.rdd.map(_.mkString(","))

您可以根据需要更改“,”参数.

希望对您有所帮助,最诚挚的问候.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!