linux – Spark配置,SPARK_DRIVER_MEMORY,SPARK_EXECUTOR_MEMORY

发布时间：2020-12-14 01:07:03 所属栏目：Linux 来源：网络整理

导读：我做了我的工作,在 https://spark.apache.org/docs/latest/configuration.html阅读文档 in spark-folder/conf/spark-env.sh: SPARK_DRIVER_MEMORY,主存储器(例如1000M,2G)(默认值：512 Mb) SPARK_EXECUTOR_MEMORY,每个工人的内存(例如1000M,2G)(默认值：1G)

我做了我的工作,在 https://spark.apache.org/docs/latest/configuration.html阅读文档

in spark-folder/conf/spark-env.sh:

> SPARK_DRIVER_MEMORY,主存储器(例如1000M,2G)(默认值：512 Mb)
> SPARK_EXECUTOR_MEMORY,每个工人的内存(例如1000M,2G)(默认值：1G)
> SPARK_WORKER_MEMORY,设置工作人员必须给执行者的总内存量(例如1000m,2g)

以上3个参数的关系是什么？

据我了解,DRIVER_MEMORY是最大内存主节点/进程可以请求的.但对于驾驶员来说,多机情况如何,例如. 1台主机和2台工作机,工作机还应该有一些可用于火花机的内存？

EXECUTOR_MEMORY和WORKER_MEMORY对我来说是一样的,只是不同的名字,这也可以解释一下吗？

非常感谢你.

解决方法

首先,您应该知道1个Worker(可以说是1个机器或1个Worker Node)可以启动多个Executor(或多个Worker实例 – 他们在文档中使用的术语).

> SPARK_WORKER_MEMORY仅用于独立部署模式
> SPARK_EXECUTOR_MEMORY用于YARN部署模式

在独立模式下,将SPARK_WORKER_MEMORY设置为可在一台计算机上使用的内存总量(本机上的所有执行程序)以运行spark应用程序.

相反,在YARN模式下,将SPARK_DRIVER_MEMORY设置为一个Executor的内存

> SPARK_DRIVER_MEMORY用于YARN部署模式,指定运行应用程序的驱动程序的内存.与Cluster Manager通信.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!