加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Java > 正文

java – EMR – 在Hadoop(和YARN)中使用自定义日志记录appender

发布时间:2020-12-15 02:11:46 所属栏目:Java 来源:网络整理
导读:在我们的EMR集群中,我们使用自定义log4j-appender和log4j.properties来允许我们将日志转发到Splunk并让我们做一些魔术,提供的库和配置不知道如何操作. 在EMR 3.x中,我们使用引导动作做到了: 从s3下载我们的自定义log4j appender jar,log4j.properties, 我们
在我们的EMR集群中,我们使用自定义log4j-appender和log4j.properties来允许我们将日志转发到Splunk并让我们做一些魔术,提供的库和配置不知道如何操作.

在EMR 3.x中,我们使用引导动作做到了:

>从s3下载我们的自定义log4j appender jar,log4j.properties,
我们定制的container-log4j.properties.
>将我们的自定义log4j appender jar放入yarn lib目录中
/家庭/ Hadoop的/股/的Hadoop /纱/ lib中/.
>更新Hadoop类路径以使用我们的自定义log4j appender
>将我们修改后的container-log4j.properties推入
hadoop-yarn-server-nodemanager.jar at
/家庭/ Hadoop的/股/的Hadoop /纱/

所有这些都有效,并允许我们在Hadoop进程中使用我们的appender.

我们尝试升级到EMR版本v4,但是我们注意到当没有安装hadoop-yarn时(路径/usr/lib / hadoop-yarn /不存在),正在执行bootstrap操作有一个重大变化,因此,没有hadoop-yarn-server-nodemanager.jar可以修改,因为它尚未安装
(我们使用以下命令修改jar:jar uf /usr/lib/hadoop-yarn/hadoop-yarn-server-nodemanager.jar container-log4j.properties)而不是我们可以放置自定义log4j-appender的lib文件夹.

我们如何在EMR 4.x中进行这些更改,以允许我们的自定义日志记录?

解决方法

您可以按照此页面的说明覆盖log4j和container-log4j设置.
http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-4.7.2/emr-configure-apps.html

如果您正在使用UI,请填写配置,如果您使用的是CLI,请使用–configurations file://./configurations.json

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读