scala – 如何在Spark中显示KeyValueGroupedDataset？

发布时间：2020-12-16 18:57:00 所属栏目：安全来源：网络整理

导读：我正在尝试在Spark中学习数据集.我无法弄清楚的一件事是如何显示KeyValueGroupedDataset,因为show不适用于它.另外,KeyValuGroupedDataSet的地图相当于什么？如果有人举一些例子,我将不胜感激. 解决方法好的,我从 here和 here给出的例子中得到了这个想法.我

我正在尝试在Spark中学习数据集.我无法弄清楚的一件事是如何显示KeyValueGroupedDataset,因为show不适用于它.另外,KeyValuGroupedDataSet的地图相当于什么？如果有人举一些例子,我将不胜感激.

解决方法

好的,我从 here和 here给出的例子中得到了这个想法.我在下面给出了一个我写过的简单例子.

val x = Seq(("a",36),("b",33),("c",40),("a",38),39)).toDS
x: org.apache.spark.sql.Dataset[(String,Int)] = [_1: string,_2: int]

val g = x.groupByKey(_._1)
g: org.apache.spark.sql.KeyValueGroupedDataset[String,(String,Int)] = ...

val z = g.mapGroups{case(k,iter) => (k,iter.map(x => x._2).toArray)}
z: org.apache.spark.sql.Dataset[(String,Array[Int])] = [_1: string,_2: array<int>]

z.show
+---+--------+
| _1|      _2|
+---+--------+
|  c|[40,39]|
|  b|    [33]|
|  a|[36,38]|
+---+--------+

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!