scala – 在Apache Flink上的zipWithIndex

发布时间：2020-12-16 18:43:07 所属栏目：安全来源：网络整理

导读：我想为输入的每一行分配一个id – 它应该是一个从0到N-1的数字,其中N是输入中的行数. 粗略地说,我希望能够做到以下几点： val data = sc.textFile(textFilePath,numPartitions)val rdd = data.map(line = process(line))val rddMatrixLike = rdd.zipWithInde

我想为输入的每一行分配一个id – 它应该是一个从0到N-1的数字,其中N是输入中的行数.

粗略地说,我希望能够做到以下几点：

val data = sc.textFile(textFilePath,numPartitions)
val rdd = data.map(line => process(line))
val rddMatrixLike = rdd.zipWithIndex.map { case (v,idx) => someStuffWithIndex(idx,v) }

但是在Apache Flink中.可能吗？

解决方法

现在这是Apache Flink的0.10-SNAPSHOT版本的一部分. zipWithIndex(in)和zipWithUniqueId(in)的示例可在官方 Flink documentation中找到.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!