如何在Scala中将DataFrame模式写入文件

发布时间：2020-12-16 10:05:34 所属栏目：安全来源：网络整理

导读：我有一个DataFrame从一个巨大的json文件加载并从中获取模式.架构基本上大约1000列.我希望将printSchema的相同输出保存在文件而不是控制台中. 有任何想法吗？解决方法如果您在本地环境中工作,则可以执行以下操作： val filePath = "/path/to/file/schema_fi

我有一个DataFrame从一个巨大的json文件加载并从中获取模式.架构基本上大约1000列.我希望将printSchema的相同输出保存在文件而不是控制台中.

有任何想法吗？

解决方法

如果您在本地环境中工作,则可以执行以下操作：

val filePath = "/path/to/file/schema_file"
new PrintWriter(filePath) { write(df.schema.treeString); close }

如果您使用的是HDFS,则需要提供URI.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!