docker – 无法增加Max Application Master资源

发布时间：2020-12-16 03:48:07 所属栏目：安全来源：网络整理

导读：我正在使用uhopper / hadoop docker image来创建纱线簇.我有3个节点,每个节点有64GB RAM.我添加了配置.我给了32GB 到纱线.总簇内存为96GB. - name: YARN_CONF_yarn_scheduler_minimum___allocation___mb value: "2048" - name: YARN_CONF_yarn_scheduler_max

我正在使用uhopper / hadoop docker image来创建纱线簇.我有3个节点,每个节点有64GB RAM.我添加了配置.我给了32GB
到纱线.总簇内存为96GB.

 -    name: YARN_CONF_yarn_scheduler_minimum___allocation___mb
      value: "2048"
    - name: YARN_CONF_yarn_scheduler_maximum___allocation___mb
      value: "16384"
    - name:  MAPRED_CONF_mapreduce_framework_name
      value: "yarn" 
    - name: MAPRED_CONF_mapreduce_map_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_reduce_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_map_java_opts
      value: "-Xmx8192m"
    - name: MAPRED_CONF_mapreduce_reduce_java_opts
      value: "-Xmx8192m"
    - name: YARN_CONF_yarn_nodemanager_resource_memory___mb
      value: "32768"

最大应用程序主资源为10240 MB.我运行了5个火花作业,每个3 GB驱动程序内存,2个作业从未进入RUNNING状态,因为10240MB.我无法充分利用我的硬件.

enter image description here

如何增加Max Application Master Resources内存？

enter image description here

最佳答案

我希望,我找到了答案,如果你改变yarn.scheduler.capacity.maximum-am-resource-percent,那么Max Application Master Resources将会改变.这是一个文档 – 来自docs.hortonworks.com的Setting Application Limits

让我知道它是否有效.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!