Oozie shell动作内存限制

发布时间：2020-12-16 01:52:03 所属栏目：安全来源：网络整理

导读：我们有一个oozie工作流,其 shell操作需要比Yarn默认提供的map任务更多的内存. 我们怎样才能给它更多的记忆？我们尝试将以下配置添加到操作中： configuration property namemapreduce.map.memory.mb/name value6144/value !-- for example -- /property/con

我们有一个oozie工作流,其 shell操作需要比Yarn默认提供的map任务更多的内存.

我们怎样才能给它更多的记忆？

我们尝试将以下配置添加到操作中：

<configuration>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>

我们都将其设置为内联(在workflow.xml中)配置和jobXml.
两者都没有任何影响.

解决方法

我们找到了答案：

shell操作作为oozie“启动器”映射任务执行,此任务不使用常规配置属性.

相反,您必须在属性前加上“oozie.launcher”,以使它们适用于启动器任务.

所以在我们的例子中,如果我们对shell动作使用以下配置,它就可以工作.

<configuration>
  <property>
    <name>oozie.launcher.mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>

这在oozie文档中并不明显.
我们在这里找到了：
http://downright-amazed.blogspot.com/2012/02/configure-oozies-launcher-job.html

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!