有没有办法使用scala过滤不包含spark数据帧中某些内容的字段？

发布时间：2020-12-16 19:18:34 所属栏目：安全来源：网络整理

导读：希望我是愚蠢的,这很容易. 我有一个包含“url”和“referrer”列的数据框. 我想提取包含顶级域名“www.mydomain.com”和“mydomain.co”的所有引荐来源. 我可以用 val filteredDf = unfilteredDf.filter(($"referrer").contains("www.mydomain.")) 但是,由于

希望我是愚蠢的,这很容易.

我有一个包含“url”和“referrer”列的数据框.

我想提取包含顶级域名“www.mydomain.com”和“mydomain.co”的所有引荐来源.

我可以用

val filteredDf = unfilteredDf.filter(($"referrer").contains("www.mydomain."))

但是,由于某种原因,这会删除包含我的网域的网址www.google.co.uk搜索网址.有没有办法,在火花中使用scala,我可以过滤掉谷歌中的任何东西,同时保持我的正确结果？

谢谢

院长

解决方法

您可以使用not或者否定谓词！所以剩下的就是添加另一个条件：

import org.apache.spark.sql.functions.not

df.where($"referrer".contains("www.mydomain.") &&
  not($"referrer".contains("google")))

或单独的过滤器：

df
 .where($"referrer".contains("www.mydomain."))
 .where(!$"referrer".contains("google"))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!