scala – 如何从pyspark设置hadoop配置值

发布时间：2020-12-16 09:40:56 所属栏目：安全来源：网络整理

导读：SparkContext的Scala版本具有该属性 sc.hadoopConfiguration 我已经成功地使用它来设置hadoop属性(在scala ..) 例如 sc.hadoopConfiguration.set("my.mapreduce.setting","someVal") 但是，SparkContext的python版本缺少该访问器。有没有办法将hadoop配置值

SparkContext的Scala版本具有该属性

sc.hadoopConfiguration

我已经成功地使用它来设置hadoop属性(在scala ..)

例如

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

但是，SparkContext的python版本缺少该访问器。有没有办法将hadoop配置值设置为pyspark上下文使用的Hadoop配置？

解决方法

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting','someVal')

应该工作

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!