如何在Scala中部署到YARN的Spark应用程序的applicationId？

发布时间：2020-12-16 09:58:31 所属栏目：安全来源：网络整理

导读：我正在使用以下 Scala代码(作为自定义spark-submit包装器)将Spark应用程序提交到YARN集群： val result = Seq(spark_submit_script_here).!! 我在提交时所拥有的只是spark-submit和Spark应用程序的jar(没有SparkContext).我想从结果中捕获applicationId,但它

我正在使用以下 Scala代码(作为自定义spark-submit包装器)将Spark应用程序提交到YARN集群：

val result = Seq(spark_submit_script_here).!!

我在提交时所拥有的只是spark-submit和Spark应用程序的jar(没有SparkContext).我想从结果中捕获applicationId,但它是空的.

我可以在命令行中看到输出applicationId和其余的Yarn消息：

INFO yarn.Client: Application report for application_1450268755662_0110

如何在代码中读取它并获取applicationId？

解决方法

如 Spark issue 5439中所述,您可以使用SparkContext.applicationId或解析stderr输出.现在,当您使用自己的脚本/对象包装spark-submit命令时,我会说您需要读取stderr并获取应用程序ID.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!