scala – Spark – 删除两个数组类型列之间的相交元素

发布时间：2020-12-16 08:46:29 所属栏目：安全来源：网络整理

导读：我有这样的数据帧 +---------+--------------------+----------------------------+| Name| rem1| quota |+---------+--------------------+----------------------------+|Customer_3|[258,259,260,2...|[1,2,3,4,5,6,7,..500]||Customer_4|[18,19,20,27,..

我有这样的数据帧

+---------+--------------------+----------------------------+
|     Name|                rem1|        quota               |
+---------+--------------------+----------------------------+
|Customer_3|[258,259,260,2...|[1,2,3,4,5,6,7,..500]|
|Customer_4|[18,19,20,27,...|[1,..500]|
|Customer_5|[16,17,51,52,..500]|
|Customer_6|[6,8,9,10,..500]|
|Customer_7|[0,30,31,32,3...|[1,..500]|

我想从配额中删除rem1中的列表值并创建为一个新列.我试过了.

val dfleft = dfpci_remove2.withColumn("left",$"quota".filter($"rem1"))

<console>:123: error: value filter is not a member of org.apache.spark.sql.ColumnName

请指教.

解决方法

您可以这样使用列中的过滤器,您可以编写如下的udf

val filterList = udf((a: Seq[Int],b: Seq[Int]) => a diff b)

  df.withColumn("left",filterList($"rem1",$"quota") )

这应该给你预期的结果.

希望这可以帮助！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!