java – 使用MapReduce查找数字的平均值

发布时间：2020-12-14 05:53:43 所属栏目：Java 来源：网络整理

导读：我一直在尝试编写一些代码来使用MapReduce查找数字的平均值. 我试图使用全局计数器来达到我的目标,但我无法在我的Mapper的map方法中设置计数器值,我也无法在Reducer的reduce方法中检索计数器值. 我是否必须在地图中使用全局计数器(例如,通过使用提供的Report

我一直在尝试编写一些代码来使用MapReduce查找数字的平均值.

我试图使用全局计数器来达到我的目标,但我无法在我的Mapper的map方法中设置计数器值,我也无法在Reducer的reduce方法中检索计数器值.

我是否必须在地图中使用全局计数器(例如,通过使用提供的Reporter的incrCounter(密钥,金额))？或者你会建议任何不同的逻辑来获得一些数字的平均值？

逻辑非常简单：
如果所有数字都具有相同的密钥,则映射器会发送您想要查找具有相同密钥的平均值的所有值.因此,在reducer中可以对迭代器中的值求和.然后,您可以在迭代器工作的时间数上保留一个计数器,这可以解决平均项数的问题.最后,在迭代器之后,您可以通过将总和除以项目数来找到平均值.

注意,如果将combiner类设置为与reducer相同的类,则此逻辑将不起作用…

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!