Java – 解决大于内存限制的问题

发布时间：2020-12-15 04:58:02 所属栏目：Java 来源：网络整理

导读：我最近在思考以下场景：假设你有一个庞大的数据库,你想在加载它的一部分时执行一些计算.情况可能就是这个数据库的一小部分可能不适合 Java的堆内存,这是非常有限的.人们如何解决这些障碍？谷歌如何利用有限的内存空间对太字节数据进行分析？提前感谢您的回

我最近在思考以下场景：假设你有一个庞大的数据库,你想在加载它的一部分时执行一些计算.情况可能就是这个数据库的一小部分可能不适合 Java的堆内存,这是非常有限的.人们如何解决这些障碍？谷歌如何利用有限的内存空间对太字节数据进行分析？

提前感谢您的回复.

简短的回答是,您需要以适合内存的块的形式处理数据,然后将这些分块计算的结果组合成最终答案(可能分为多个阶段).一个常见的分布式范例是Map Reduce：有关Google原始实现的详细信息,请参阅 here;有关开源实现的详细信息,请参阅 Hadoop.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!