sql – 如何从Hive组按操作符获取数组/包的元素？

发布时间：2020-12-12 08:42:29 所属栏目：MsSql教程来源：网络整理

导读：我想通过给定的字段进行分组,并获得具有分组字段的输出.下面是我要实现的一个例子：想象一下一个名为“sample_table”的表,其中包含两列如下： F1 F2001 111001 222001 123002 222002 333003 555 我想写Hive Query将给出以下输出： 001 [111,222,123]002 [22

我想通过给定的字段进行分组,并获得具有分组字段的输出.下面是我要实现的一个例子：

想象一下一个名为“sample_table”的表,其中包含两列如下：

我想写Hive Query将给出以下输出：

001 [111,222,123]
002 [222,333]
003 [555]

在猪中,这样可以很容易地实现：

grouped_relation = GROUP sample_table BY F1;

有人可以建议,如果在Hive中有一个简单的方法呢？我可以想到的是写一个用户定义函数(UDF),但这可能是一个非常耗时的选项.

解决方法

内置的集合函数collect_set( doumented here)可以让你几乎成为你想要的东西.它实际上可以用于您的示例输入：

SELECT F1,collect_set(F2)
FROM sample_table
GROUP BY F1

不幸的是,它也删除了重复的元素,我想象这不是你想要的行为.我发现collect_set存在很奇怪,但没有版本保持重复. Someone else apparently thought the same thing.它看起来像顶部和第二个答案将给你你需要的UDAF.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!