scala – 返回动态数据类型的Apache Spark UDF

架构对于每一行都是灵活的.这意味着我不能为每个案例创建案例类(我的一些数据可以嵌套).

我试图从我的UDF函数返回元组,但我也没有运气(因为我需要从列表转换为元组),我没有找到一个优雅的解决方案.

我正在返回的数据类型是String,Integer,Double,DateTime,它们的顺序不同.

我试图在DataFrame上使用map,但是我的架构有问题.

import spark.implicits._

def processData(row_type: String) = {
  /*
  completely random output here. Tuple/List/Array of 
  elements with a type Integer,String,DateType.
  */

  // pseudo-code starts here

  if row_type == A
     (1,"second",3)
  else
     (1,3,4)
}

val processDataUDF = udf((row_type: String) => processData(row_type))

val df = Seq((0,1),(1,2)).toDF("a","b")
val df2 = df.select(processDataUDF($"a"))
df2.show(5)
df2.printSchema()

结果

+------------+
|      UDF(a)|
+------------+
|[1,second,3]|
|[1,3]|
+------------+

我该如何处理这个问题？每个row_type有不同的处理结果.所有row_type都是动态设置的.我可以为每个row_type提供很好的Schema,但我不能使用不同的模式生成相同的UDF返回结果.

使用地图是唯一的方法吗？