scala – 在火花中有效地操纵RDD键的子集

RDD[(
  scala.collection.immutable.Vector[(Byte,Byte)],scala.collection.immutable.Vector[Int]
)]

其中key是Vector [(Byte,value是Vector [Int].

例如,RDD的内容可以如下所示.

(Vector((3,3),(5,5)),Vector(1,2)),(Vector((1,1),(2,2),(3,(4,4),3,4,3)),Vector(3,

我想对这个RDD进行操作,以便在最终的RDD中,对于每个(键值)对,满足以下条件.

当该RDD的密钥“k1”是该RDD的密钥“k2”的子集时,k1的值也应更新为包含k2的值,而k2的值将保持不变.

上面的例子RDD将成为,

(Vector((3,2,4)),2))
(Vector((1,5))

我已经提出了类似的问题here.提供的解决方案如下(稍作修改以适应我的问题).这对大型数据集非常有效.

val resultPre = rddIn
  .flatMap { case (colMapkeys,rowIds) => 
    colMapkeys.subsets.tail.map(_ -> rowIds)
  }
  .reduceByKey(_ ++ _)
  .join(rddIn map identity[(Seq[(Byte,Vector[Int])])
  .map{ case (key,(v,_)) => (key,v) }


implicit class SubSetsOps[T](val elems: Seq[T]) extends AnyVal {
  def subsets: Vector[Seq[T]] = elems match {
    case Seq() => Vector(elems)
    case elem +: rest => {
      val recur = rest.subsets
      recur ++ recur.map(elem +: _)
    }
  }
}

生成所有的密钥子集,然后通过加入原始RDD密钥过滤它们似乎是无效的.

如何有效地处理这个问题？