scala – 如何在Spark中按键分区？

发布时间：2020-12-16 08:59:43 所属栏目：安全来源：网络整理

导读：鉴于HashPartitioner文档说： [HashPartitioner] implements hash-based partitioning using Java‘s Object.hashCode. 假设我想按类型对DeviceData进行分区. case class DeviceData(kind: String,time: Long,data: String) 通过覆盖deviceData.hashCode()方

鉴于HashPartitioner文档说：

[HashPartitioner] implements hash-based partitioning using Java‘s
Object.hashCode.

假设我想按类型对DeviceData进行分区.

case class DeviceData(kind: String,time: Long,data: String)

通过覆盖deviceData.hashCode()方法并仅使用类型的哈希码对RDD [DeviceData]进行分区是否正确？

但是考虑到HashPartitioner需要一些分区参数,我很困惑我是否需要事先了解种类数量,如果种类多于分区会发生什么？

如果我将分区数据写入磁盘,它会在读取时保持分区吗？

我的目标是致电

deviceDataRdd.foreachPartition(d: Iterator[DeviceData] => ...)

并且在迭代器中只有DeviceData具有相同类型的值.

解决方法

怎么样只使用kind来做groupByKey.或另一个PairRDDFunctions方法.

你让我觉得你并不真正关心分区,只是你在一个处理流程中得到了所有特定的类型？

配对功能允许：

rdd.keyBy(_.kind).partitionBy(new HashPartitioner(PARTITIONS))
   .foreachPartition(...)

但是,您可能会更喜欢更安全的东西：

rdd.keyBy(_.kind).reduceByKey(....)

或mapValues或许多其他对函数,可以保证您获得整个部分

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!