如何在Scala中将DataFrame导出到csv？

发布时间：2020-12-16 19:22:27 所属栏目：安全来源：网络整理

导读：如何使用 Scala将Spark的DataFrame导出到csv文件？解决方法最简单和最好的方法是使用 spark-csv 库.您可以查看提供的链接中的文档, here 是如何从/向DataFrame加载和保存数据的scala示例. 代码(Spark 1.4)： dataFrame.write.format("com.databricks.spark

如何使用 Scala将Spark的DataFrame导出到csv文件？

解决方法

最简单和最好的方法是使用 spark-csv库.您可以查看提供的链接中的文档,here是如何从/向DataFrame加载和保存数据的scala示例.

代码(Spark 1.4)：

dataFrame.write.format("com.databricks.spark.csv").save("myFile.csv")

编辑：

Spark在保存csv数据的同时创建了部分文件,如果要将部分文件合并到单个csv中,请参阅以下内容：

Merge Spark’s CSV output folder to Single File

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!