加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

kylin Build过程问题排查:17 Step Name: Build Cube In-Mem

发布时间:2020-12-14 04:45:20 所属栏目:大数据 来源:网络整理
导读:Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem? ,错误截图如下: ? 点左下角的MRJob图标,打开查看错误信息: 从MRJob中的描述中可见详细的错误信息: The required MAP capability is more than the supported max container capabilit

Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem? ,错误截图如下:

?

点左下角的MRJob图标,打开查看错误信息:

从MRJob中的描述中可见详细的错误信息:

The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072,vCores:1> maxContainerCapability:<memory:1024,vCores:2>
Job received Kill while in RUNNING state.

说的很明确,需要的内存量是3072,但是最大能提供的内存量只有1024,这两个值改那个都可以,只要能匹配上就行。

问题排查:

从kylin的配置目录中找到kylin_job_conf_inmem.xml(路径:/usr/local/apps/kylin/conf/)

发现这个map的内存最大请求为3072,和上面MRJob中的报错信息一致,把这个最大请求改成1024即可。

?

?

 <!--Additional config for in-mem cubing,giving mapper more memory -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description></description>
    </property>

改成1024,重新Build,Success!

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读