scala – 使用local [*]时增加Spark内存

发布时间：2020-12-16 18:55:24 所属栏目：安全来源：网络整理

导读：使用local [*]时如何增加Spark内存？我尝试像这样设置内存： val conf = new SparkConf() .set("spark.executor.memory","1g") .set("spark.driver.memory","4g") .setMaster("local[*]") .setAppName("MyApp") 但我仍然得到： MemoryStore: MemoryStore st

使用local [*]时如何增加Spark内存？

我尝试像这样设置内存：

val conf = new SparkConf()
    .set("spark.executor.memory","1g")
    .set("spark.driver.memory","4g")
    .setMaster("local[*]")
    .setAppName("MyApp")

但我仍然得到：

MemoryStore: MemoryStore started with capacity 524.1 MB

这是否与此有关：

.setMaster("local[*]")

解决方法

我能够通过运行SBT来解决这个问题：

sbt -mem 4096

然而,MemoryStore的大小只有一半.仍在调查这一部分的位置.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!