scala – 如何获取上传文件的路径

发布时间：2020-12-16 18:42:00 所属栏目：安全来源：网络整理

导读：我正在谷歌云上运行一个火花集群,我上传了每个作业的配置文件.使用submit命令上传的文件的路径是什么？在下面的示例中,如何在初始化SparkContext之前读取文件Configuration.properties？我正在使用Scala. gcloud dataproc jobs submit spark --cluster my-c

我正在谷歌云上运行一个火花集群,我上传了每个作业的配置文件.使用submit命令上传的文件的路径是什么？

在下面的示例中,如何在初始化SparkContext之前读取文件Configuration.properties？我正在使用Scala.

gcloud dataproc jobs submit spark --cluster my-cluster --class MyJob  --files  config/Configuration.properties --jars my.jar

解决方法

可以使用SparkFiles.get获取使用SparkFiles机制(–files参数,SparkContext.addFile)方法分发的文件的本地路径：

org.apache.spark.SparkFiles.get(fileName)

您还可以使用SparkFiles.getRootDirectory获取根目录的路径：

org.apache.spark.SparkFiles.getRootDirectory

您可以将这些与标准IO实用程序结合使用来读取文件.

how can I read the file Configuration.properties before the SparkContext has been initialized?

SparkFiles由驱动程序分发,在上下文初始化之前无法访问,并且首先要分发,必须可以从驱动程序节点访问.因此,问题的这一部分仅取决于您将用于将文件公开给驱动程序节点的存储类型.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!