scala – 如何将多列连接成单个列(没有先前的数据知识)？

发布时间：2020-12-16 18:58:54 所属栏目：安全来源：网络整理

假设我有以下数据帧：

agentName|original_dt|parsed_dt|   user|text|
+----------+-----------+---------+-------+----+
|qwertyuiop|          0|        0|16102.0|   0|

我希望创建一个新的数据框,其中还有一列具有该行所有元素的串联：

agentName|original_dt|parsed_dt|   user|text| newCol
+----------+-----------+---------+-------+----+
|qwertyuiop|          0|        0|16102.0|   0| [qwertyuiop,16102,0]

注意：这只是一个例子.列数和名称未知.它是动态的.

解决方法

我认为这适用于您的情况
这是一个例子

val spark =
    SparkSession.builder().master("local").appName("test").getOrCreate()
  import spark.implicits._
  val data = spark.sparkContext.parallelize(
    Seq(
      ("qwertyuiop",16102.0,0)
    )
  ).toDF("agentName","original_dt","parsed_dt","user","text")


  val result = data.withColumn("newCol",split(concat_ws(";",data.schema.fieldNames.map(c=> col(c)):_*),";"))        
  result.show()

+----------+-----------+---------+-------+----+------------------------------+
|agentName |original_dt|parsed_dt|user   |text|newCol                        |
+----------+-----------+---------+-------+----+------------------------------+
|qwertyuiop|0          |0        |16102.0|0   |[qwertyuiop,0]|
+----------+-----------+---------+-------+----+------------------------------+

希望这有帮助！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!