scala – Spark：通过键取得顶部的N

发布时间：2020-12-16 18:59:18 所属栏目：安全来源：网络整理

导读：说我有一个PairRDD(显然,在现实生活中有更多的数据,承担数百万条记录)： val scores = sc.parallelize(Array( ("a",1),("a",2),3),("b",4),2))) 每个键的前2个分数生成RDD最有效的方法是什么？ val top2ByKey = ...res3: Array[(String,Int)] = Array((a,(a,

说我有一个PairRDD(显然,在现实生活中有更多的数据,承担数百万条记录)：

val scores = sc.parallelize(Array(
      ("a",1),("a",2),3),("b",4),2)
))

每个键的前2个分数生成RDD最有效的方法是什么？

val top2ByKey = ...
res3: Array[(String,Int)] = Array((a,(a,(b,3))

解决方法

我认为这应该是非常有效的：

根据OP评论编辑：

scores.mapValues(p => (p,p)).reduceByKey((u,v) => {
  val values = List(u._1,u._2,v._1,v._2).sorted(Ordering[Int].reverse).distinct
  if (values.size > 1) (values(0),values(1))
  else (values(0),values(0))
}).collect().foreach(println)

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!