java – 如何使用Hibernate尽快插入数据
发布时间:2020-12-14 16:29:44 所属栏目:Java 来源:网络整理
导读:我读取文件并从中创建一个Object并存储到 postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库. 我无法创建List并将所有文档存储在List中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多
我读取文件并从中创建一个Object并存储到
postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库.
我无法创建List<>并将所有文档存储在List<>中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库. public void readFile() { StringBuilder wholeDocument = new StringBuilder(); try { bufferedReader = new BufferedReader(new FileReader(files)); String line; int count = 0; while ((line = bufferedReader.readLine()) != null) { if (line.contains("<page>")) { wholeDocument.append(line); while ((line = bufferedReader.readLine()) != null) { wholeDocument = wholeDocument.append("n" + line); if (line.contains("</page>")) { System.out.println(count++); addBodyToDatabase(wholeDocument.toString()); wholeDocument.setLength(0); break; } } } } wikiParser.commit(); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } finally { try { bufferedReader.close(); } catch (IOException e) { e.printStackTrace(); } } } public void addBodyToDatabase(String wholeContent) { Page page = new Page(new Timestamp(System.currentTimeMillis()),wholeContent); database.addPageToDatabase(page); } public static int counter = 1; public void addPageToDatabase(Page page) { session.save(page); if (counter % 3000 == 0) { commit(); } counter++; } 解决方法
首先,您应该在这里应用
fork-join方法.
主任务解析文件并将最多100个项目的批次发送到ExecutorService.ExecutorService应该具有许多工作线程,这些线程等于可用数据库连接的数量.如果你有4个CPU内核,那么假设数据库可以采用8个并发连接,而??无需进行太多的上下文切换. 然后,您应配置connection pooling DataSource并使minSize等于maxSize且等于8.尝试使用HikariCP或ViburDBCP进行连接池. 然后你需要配置JDBC batching.如果你使用MySQL,IDENTITY生成器将禁用沐浴.如果您使用的是支持序列的数据库,请确保您还使用增强的标识符生成器(它们是Hibernate 5.x中的默认选项). 这样,实体插入过程被并行化并且与主解析线程分离.主线程应该等待ExecutorService在关闭之前完成所有任务的处理. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |