java – EMR – 在Hadoop(和YARN)中使用自定义日志记录appender
在我们的EMR集群中,我们使用自定义log4j-appender和log4j.properties来允许我们将日志转发到Splunk并让我们做一些魔术,提供的库和配置不知道如何操作.
在EMR 3.x中,我们使用引导动作做到了: >从s3下载我们的自定义log4j appender jar,log4j.properties, 所有这些都有效,并允许我们在Hadoop进程中使用我们的appender. 我们尝试升级到EMR版本v4,但是我们注意到当没有安装hadoop-yarn时(路径/usr/lib / hadoop-yarn /不存在),正在执行bootstrap操作有一个重大变化,因此,没有hadoop-yarn-server-nodemanager.jar可以修改,因为它尚未安装 我们如何在EMR 4.x中进行这些更改,以允许我们的自定义日志记录? 解决方法
您可以按照此页面的说明覆盖log4j和container-log4j设置.
http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-4.7.2/emr-configure-apps.html 如果您正在使用UI,请填写配置,如果您使用的是CLI,请使用–configurations file://./configurations.json (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |