scala – 如何从spark shell设置spark.local.dir属性？

发布时间：2020-12-16 08:49:08 所属栏目：安全来源：网络整理

导读：我正在尝试使用sc.getconf.set(“spark.local.dir”,“/ temp / spark”)从spark- shell设置spark.local.dir,但它无效.有没有其他方法可以从sparkshell设置此属性. 解决方法你不能在shell中做到这一点 – 因为已经创建了Spark上下文,所以本地目录已经设置(

我正在尝试使用sc.getconf.set(“spark.local.dir”,“/ temp / spark”)从spark- shell设置spark.local.dir,但它无效.有没有其他方法可以从sparkshell设置此属性.

解决方法

你不能在shell中做到这一点 – 因为已经创建了Spark上下文,所以本地目录已经设置(并使用)了.您应该在启动shell时将其作为参数传递：

./spark-shell --conf spark.local.dir=/temp/spark

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!