java – org.apache.hadoop.mapreduce.counters.LimitExceededEx

发布时间：2020-12-14 19:37:48 所属栏目：Java 来源：网络整理

导读：我正在运行一个hadoop工作(来自oozie),它有很少的计数器和多输出. 我得到的错误如下： org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max = 120 然后我删除了所有具有计数器的代码,并将mout.setCountersEnabled设置为false

我正在运行一个hadoop工作(来自oozie),它有很少的计数器和多输出.

我得到的错误如下：
org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max = 120

然后我删除了所有具有计数器的代码,并将mout.setCountersEnabled设置为false.
并且还在hadoop配置中将最大计数器设置为240.

现在我仍然得到同样的错误
org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：241 max = 240

我怎么解决这个问题？
是否存在任何隐藏计数器的可能性？
我怎样才能弄清楚那里的柜台超过240？ (在我打印任何东西之前,这个过程看起来好像停了？)

谢谢,
莘松

解决方法

我用以下方法解决了问题：
vi $HADOOP_HOME / conf / mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <!--<value>120</value>-->
   <value>20000</value>
    <description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!