java – Spark：如何使用标题保存数据框？

发布时间：2020-12-15 00:03:45 所属栏目：Java 来源：网络整理

导读：dataframe.saveasTextFile,仅以分隔格式保存数据.如何在JAVA中使用标题保存数据框. sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1,true).saveAsTextFile(targetSrcFilePath); 解决方法如果你想保存为csv文件,我建议使用spark-csv包.你

dataframe.saveasTextFile,仅以分隔格式保存数据.如何在JAVA中使用标题保存数据框.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1,true).saveAsTextFile(targetSrcFilePath);

解决方法

如果你想保存为csv文件,我建议使用spark-csv包.你可以使用spark-csv保存你的数据帧,如下所示.

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header","true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以参考以下链接,了解更多信息：
https://github.com/databricks/spark-csv

Spark-csv有maven依赖.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!