scala – 如何获取两个DataFrame之间的差异？

发布时间：2020-12-16 09:26:04 所属栏目：安全来源：网络整理

导读：在SparkSQL 1.6 API(scala)中,Dataframe具有相交和除外的功能,但不具有差异功能.显然,union和except的组合可用于产生差异： df1.except(df2).union(df2.except(df1)) 但这似乎有点尴尬.根据我的经验,如果某些事情看起来很尴尬,那么有更好的方法,特别是在Scal

在SparkSQL 1.6 API(scala)中,Dataframe具有相交和除外的功能,但不具有差异功能.显然,union和except的组合可用于产生差异：

df1.except(df2).union(df2.except(df1))

但这似乎有点尴尬.根据我的经验,如果某些事情看起来很尴尬,那么有更好的方法,特别是在Scala中.

解决方法

您始终可以将其重写为：

df1.unionAll(df2).except(df1.intersect(df2))

说真的,UNION,INTERSECT和EXCEPT / MINUS几乎是一组标准的SQL组合运算符.我不知道任何系统提供开箱即用的XOR操作.很可能是因为使用其他三个实现它是微不足道的,并且没有太多优化.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!