scala – 合并循环中生成的多个RDD

发布时间：2020-12-16 09:55:33 所属栏目：安全来源：网络整理

导读：我在 scala中调用一个函数,它给出了一个RDD [(Long,Long,Double)]作为输出. def helperfunction()：RDD [(长,长,双)] 我在代码的另一部分循环调用此函数,我想合并所有生成的RDD.调用该函数的循环看起来像这样 for (i - 1 to n){ val tOp = helperfunction()

我在 scala中调用一个函数,它给出了一个RDD [(Long,Long,Double)]作为输出.

def helperfunction()：RDD [(长,长,双)]

我在代码的另一部分循环调用此函数,我想合并所有生成的RDD.调用该函数的循环看起来像这样

for (i <- 1 to n){
    val tOp = helperfunction()
    // merge the generated tOp
}

我想要做的是类似于StringBuilder在你想要合并字符串时为你做的事情.我已经研究了合并RDD的技术,这些技术主要指向使用这样的union函数

RDD1.union(RDD2)

但是这需要在结合之前生成两个RDD.我虽然初始化一个var RDD1来累积for循环之外的结果,但我不知道如何初始化[[Long,Double]]类型的空白RDD.另外我开始使用spark,所以我甚至不确定这是否是解决此问题的最优雅的方法.

解决方法

您可以使用函数式编程范例来实现您想要的,而不是使用变量：

val rdd = (1 to n).map(x => helperFunction()).reduce(_ union _)

此外,如果您仍需要创建一个空的RDD,您可以使用以下命令：

val empty = sc.emptyRDD[(long,long,String)]

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!