scala – 如何在Spark中获取默认属性值

发布时间：2020-12-16 18:41:46 所属栏目：安全来源：网络整理

导读：我正在使用这个版本的Spark：spark-1.4.0-bin-hadoop2.6.我想检查几个默认属性.所以我在spark- shell中给出了以下声明 scala sqlContext.getConf("spark.sql.hive.metastore.version") 我期待调用方法getConf返回一个0.13.1的值,如link所示.但我得到了以下异

我正在使用这个版本的Spark：spark-1.4.0-bin-hadoop2.6.我想检查几个默认属性.所以我在spark- shell中给出了以下声明

scala> sqlContext.getConf("spark.sql.hive.metastore.version")

我期待调用方法getConf返回一个0.13.1的值,如link所示.但我得到了以下异常

java.util.NoSuchElementException: spark.sql.hive.metastore.version
    at org.apache.spark.sql.SQLConf$$anonfun$getConf$1.apply(SQLConf.scala:283)
    at org.apache.spark.sql.SQLConf$$anonfun$getConf$1.apply(SQLConf.scala:283)

我是否以正确的方式检索房产？

解决方法

您可以使用

sc.getConf.toDebugString

要么

sqlContext.getAllConfs

这将返回已设置的所有值,但是代码中有一些默认值.在您的具体示例中,it is indeed in the code：

getConf(HIVE_METASTORE_VERSION,hiveExecutionVersion)

默认is indeed in the code：

val hiveExecutionVersion: String = "0.13.1"

因此,getConf将尝试从配置中提取Metastore版本,然后回退到默认值,但这不会在conf本身中列出.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!