过滤器和scala spark sql中的区别

发布时间：2020-12-16 08:54:19 所属栏目：安全来源：网络整理

导读：我试过两个但它的工作原理相同例 val items = List(1,2,3) 使用过滤器 employees.filter($"emp_id".isin(items:_*)).show 用哪里 employees.where($"emp_id".isin(items:_*)).show 两者的结果相同 +------+------+------+-------+------+-------+|EMP_ID|F_

我试过两个但它的工作原理相同

例

val items =  List(1,2,3)

使用过滤器

employees.filter($"emp_id".isin(items:_*)).show

用哪里

employees.where($"emp_id".isin(items:_*)).show

两者的结果相同

+------+------+------+-------+------+-------+
|EMP_ID|F_NAME|SALARY|DEPT_ID|L_NAME|MANAGER|
+------+------+------+-------+------+-------+
|     6|    E6|  2000|      4|    L6|      2|
|     7|    E7|  3000|      4|    L7|      1|
|     8|    E8|  4000|      2|    L8|      2|
|     9|    E9|  1500|      2|    L9|      1|
|    10|   E10|  1000|      2|   L10|      1|
|     4|    E4|   400|      3|    L4|      1|
|     2|    E2|   200|      1|    L2|      1|
|     3|    E3|   700|      2|    L3|      2|
|     5|    E5|   300|      2|    L5|      2|
+------+------+------+-------+------+-------+

解决方法

where documentation：

Filters rows using the given condition. This is an alias for filter.

filter只是这种函数的标准Scala(和一般的FP)名称,而对于喜欢SQL的人来说也是如此.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!