scala – 如何将Spark中`Dataframe`的两列合并为一个2-Tuple？

发布时间：2020-12-16 09:25:59 所属栏目：安全来源：网络整理

导读：我有一个包含五列的Spark DataFrame df.我想添加另一列,其值为第一列和第二列的元组.当使用withColumn()方法时,我得到不匹配错误,因为输入不是列类型,而是(列,列).我想知道在这种情况下是否有一个解决方案旁边的行循环运行？ var dfCol=(col1:Column,col2:Co

我有一个包含五列的Spark DataFrame df.我想添加另一列,其值为第一列和第二列的元组.当使用withColumn()方法时,我得到不匹配错误,因为输入不是列类型,而是(列,列).我想知道在这种情况下是否有一个解决方案旁边的行循环运行？

var dfCol=(col1:Column,col2:Column)=>(col1,col2)
val vv = df.withColumn( "NewColumn",dfCol( df(df.schema.fieldNames(1)),df(df.schema.fieldNames(2)) ) )

解决方法

您可以使用用户定义的函数udf来实现您想要的功能.

UDF定义

object TupleUDFs {
  import org.apache.spark.sql.functions.udf      
  // type tag is required,as we have a generic udf
  import scala.reflect.runtime.universe.{TypeTag,typeTag}

  def toTuple2[S: TypeTag,T: TypeTag] = 
    udf[(S,T),S,T]((x: S,y: T) => (x,y))
}

用法

df.withColumn(
  "tuple_col",TupleUDFs.toTuple2[Int,Int].apply(df("a"),df("b"))
)

假设“a”和“b”是您想要放入元组的Int类型的列.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!