如何加载java属性文件并在Spark中使用？

发布时间：2020-12-14 16:26:39 所属栏目：Java 来源：网络整理

导读：我想将Spark参数(如输入文件,输出文件)存储到 Java属性文件中,并将该文件传递给Spark Driver.我正在使用spark-submit提交作业,但找不到要传递属性文件的参数.你有什么建议吗解决方法这里我找到一个解决方案： props file：(mypropsfile.conf)//注意：用“s

我想将Spark参数(如输入文件,输出文件)存储到 Java属性文件中,并将该文件传递给Spark Driver.我正在使用spark-submit提交作业,但找不到要传递属性文件的参数.你有什么建议吗

解决方法

这里我找到一个解决方案：

props file：(mypropsfile.conf)//注意：用“spark”键入你的密钥.否则道具将被忽略.

spark.myapp.input /input/path
spark.myapp.output /output/path

发射

$SPARK_HOME/bin/spark-submit --properties-file  mypropsfile.conf

如何调用代码:(里面的代码)

sc.getConf.get("spark.driver.host")  // localhost
sc.getConf.get("spark.myapp.input")       // /input/path
sc.getConf.get("spark.myapp.output")      // /output/path

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!