java – 可以用map-reduce方式计算一组数据的百分位数吗？

发布时间：2020-12-14 19:21:29 所属栏目：Java 来源：网络整理

导读：我的理解是计算百分位数,需要对数据进行排序.这可能是因为大量数据分布在多个服务器上而不会移动它们吗？最佳答案虽然MapReduce作为范例看起来并不适合这个问题,但hadoop的MR实现却是. Hadoop的map reduce实现基于分布式排序这正是您所需要的. Hadoop只通

我的理解是计算百分位数,需要对数据进行排序.这可能是因为大量数据分布在多个服务器上而不会移动它们吗？

最佳答案

虽然MapReduce作为范例看起来并不适合这个问题,但hadoop的MR实现却是.
Hadoop的map reduce实现基于分布式排序 – 这正是您所需要的. Hadoop只通过在服务器之间移动数据进行排序 – 不是那么糟糕.
我建议看一下hadoop terasort的实现,它说明了用hadoop对大量数据进行排序的好方法(也可能是最好的方法). http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!