加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

oozie的shell-action中加入hive脚本命令启动执行shell同时操作hi

发布时间:2020-12-15 23:27:07 所属栏目:安全 来源:网络整理
导读:? 使用oozie来调度操作,用shell的action执行命令,其中shell里包含着hive -e 操作执行时,oozie窗口报 WARN ShellActionExecutor: 523 - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[ 0000029 - 180919135230610 -oozie-root-W] ACTION[ 0

?

使用oozie来调度操作,用shell的action执行命令,其中shell里包含着hive -e 操作执行时,oozie窗口报

 WARN ShellActionExecutor:523 - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[0000029-180919135230610-oozie-root-W] ACTION[0000029-180919135230610[email?protected]] LauncherMapper died,check Hadoop LOG for job [host1:8130:job_1533108188813_12125]

?

这个异常,对应的在yarn的history里找到上面给出的job_id ?===>?job_1533108188813_12125 对应的日志,入下图

?

?

?图中给出launch时候内存不足,这里是oozie在提交自身的这个shell-action的时候使用的内存不足,那么就要设置增大map与reduce的内存,对于oozie配置覆盖yarn上的配置参数,可以在workflow.xml的configuration中配置将要覆盖的对应的相关的yarn的参数,

<property>
    <name>oozie.launcher.mapreduce.map.memory.mb</name>
    value>4096</value>
</property>
<property>
    <name>oozie.launcher.mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

?

对应的值可以视情况调整大点,不要用1024,这个是默认值,用了也是白用,如果不加这个就可以运行,说明使用没有超过1024M,加了这个参数覆盖就要大于1024M,建议超过2048M

?

注意!!! 在参数属性前都要加上oozie.launcher,这样在oozie中的配置参数才能在yarn中生效

?

?

?提交workflow.xml再重新提交job,应该问题不大了,这个问题亲测了,如果遇到类似的解决不了,可以在评论区评论,一起讨论.....

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读