java – 将20 GB输入文件解析为ArrayList

发布时间：2020-12-15 00:08:23 所属栏目：Java 来源：网络整理

导读：我需要按升序对20 GB文件(由随机数组成)进行排序,但我不明白应该使用哪种技术.我试图在我的 Java程序中使用ArrayList,但它耗尽了内存.增加堆大小也不起作用,我猜20 GB太大了.任何人都可以指导我,我该怎么办？解决方法您应使用外部排序算法,不要试图将其放

我需要按升序对20 GB文件(由随机数组成)进行排序,但我不明白应该使用哪种技术.我试图在我的 Java程序中使用ArrayList,但它耗尽了内存.增加堆大小也不起作用,我猜20 GB太大了.任何人都可以指导我,我该怎么办？

您应使用外部排序算法,不要试图将其放入内存中.

http://en.wikipedia.org/wiki/External_sorting

如果您认为它太复杂,请尝试以下方法：

>在项目中包含H2数据库
>创建一个新的磁盘数据库(将在第一次连接时自动创建)
>创建一个简单的表格,用于存储数字
>逐个数字读取数据并将其插入数据库(不要忘记提交每1000个数字左右)
>使用ORDER BY子句选择数字:)
>使用JDBC resultSet即时获取结果并将其写入输出文件

H2数据库很简单,可以很好地与Java配合使用,可以嵌入到JAR中(不需要任何安装或设置).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!