scala – 如何在Spark中打印特定RDD分区的元素？

发布时间：2020-12-16 09:28:51 所属栏目：安全来源：网络整理

导读：如何打印特定分区的元素,比如第五,单独？ val distData = sc.parallelize(1 to 50,10) 解决方法使用Spark / Scala： val data = 1 to 50val distData = sc.parallelize(data,10)distData.mapPartitionsWithIndex( (index: Int,it: Iterator[Int]) =it.toLis

如何打印特定分区的元素,比如第五,单独？

val distData = sc.parallelize(1 to 50,10)

解决方法

使用Spark / Scala：

val data = 1 to 50
val distData = sc.parallelize(data,10)
distData.mapPartitionsWithIndex( (index: Int,it: Iterator[Int]) =>it.toList.map(x => if (index ==5) {println(x)}).iterator).collect

生产：

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!