scala – Spark数据帧写入方法编写许多小文件
发布时间:2020-12-16 18:57:25 所属栏目:安全 来源:网络整理
导读:我有一个相当简单的工作将日志文件转换为镶木地板.它正在处理1.1TB的数据(分为64MB – 128MB文件 – 我们的块大小为128MB),大约有12000个文件. 工作如下: val events = spark.sparkContext .textFile(s"$stream/$sourcetype") .map(_.split(" || ").toL
我有一个相当简单的工作将日志文件转换为镶木地板.它正在处理1.1TB的数据(分为64MB – 128MB文件 – 我们的块大小为128MB),大约有12000个文件.
工作如下: val events = spark.sparkContext .textFile(s"$stream/$sourcetype") .map(_.split(" || ").toList) .collect{case List(date,y,"Event") => MyEvent(date,"Event")} .toDF() df.write.mode(SaveMode.Append).partitionBy("date").parquet(s"$path") 它使用通用模式收集事件,转换为DataFrame,然后写出镶木地板. 我遇到的问题是,这会在HDFS集群上造成一些IO爆炸,因为它试图创建如此多的小文件. 理想情况下,我想在分区’date’中只创建一些镶木地板文件. 控制它的最佳方法是什么?是通过使用’coalesce()’吗? 这将如何影响给定分区中创建的文件数量?它取决于我在Spark中使用了多少执行程序? (目前设定为100). 解决方法
您必须重新分配DataFrame以匹配DataFrameWriter的分区
试试这个: df .repartition($"date") .write.mode(SaveMode.Append) .partitionBy("date") .parquet(s"$path") (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |