scala – 为什么SparkContext.textFile的分区参数不生效？

发布时间：2020-12-16 18:45:18 所属栏目：安全来源：网络整理

导读：scala val p=sc.textFile("file:///c:/_home/so-posts.xml",8) //i've 8 coresp: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[56] at textFile at console:21scala p.partitions.sizeres33: Int = 729 我希望打印8个,我在Spark UI中看到729个任务

scala> val p=sc.textFile("file:///c:/_home/so-posts.xml",8) //i've 8 cores
p: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[56] at textFile at <console>:21

scala> p.partitions.size
res33: Int = 729

我希望打印8个,我在Spark UI中看到729个任务

编辑：

按照@ zero323的建议调用repartition()之后

scala> p1 = p.repartition(8)
scala> p1.partitions.size
res60: Int = 8
scala> p1.count

我仍然在Spark UI中看到729个任务,即使spark-shell打印8个.

解决方法

如果你看一下签名

textFile(path: String,minPartitions: Int = defaultMinPartitions): RDD[String]

你会看到你使用的参数叫做minPartitions,这几乎描述了它的功能.在某些情况下,即使这被忽略,但这是另一回事.在幕后使用的输入格式仍决定如何计算分割.

在这种特殊情况下,您可以使用mapred.min.split.size来增加分割大小(这将在加载期间工作)或者只是在加载后重新分区(这将在加载数据后生效)但通常不需要那.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!