scala – 在Spark中的foldLeft或foldRight等效？

发布时间：2020-12-16 08:57:31 所属栏目：安全来源：网络整理

导读：在Spark的RDD和DStream中,我们使用’reduce’函数将整个RDD转换为一个元素.然而,reduce函数采用(T,T)= ? 但是如果我们想要减少 Scala中的List,我们可以使用foldLeft或foldRight,它采用类型(B)((B,A)= B)这非常有用,因为你开始使用其他类型的类型进行折叠名单

在Spark的RDD和DStream中,我们使用’reduce’函数将整个RDD转换为一个元素.然而,reduce函数采用(T,T)=> ?
但是如果我们想要减少 Scala中的List,我们可以使用foldLeft或foldRight,它采用类型(B)((B,A)=> B)这非常有用,因为你开始使用其他类型的类型进行折叠名单.

Spark中有没有办法做类似的事情？我可以从一个不同类型的值开始,然后是RDD本身的元素

解决方法

使用 aggregate而不是reduce.它还允许您指定类型B的“零”值和类似于您想要的函数：(B,A)=> B.请注意,您还需要合并在单独的执行程序上完成的单独聚合,因此a(B,B)=> B功能也是必需的.

或者,如果您希望此聚合作为副作用,则选项是使用累加器.特别是,accumulable type允许结果类型与累积类型不同.

此外,如果您甚至需要对键值RDD执行相同操作,请使用aggregateByKey.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!