java – 如何使用Hibernate尽快插入数据
发布时间:2020-12-14 16:29:44  所属栏目:Java  来源:网络整理 
            导读:我读取文件并从中创建一个Object并存储到 postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库. 我无法创建List并将所有文档存储在List中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多
                
                
                
            | 我读取文件并从中创建一个Object并存储到 
 postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库. 
  我无法创建List<>并将所有文档存储在List<>中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库. public void readFile() {
    StringBuilder wholeDocument = new StringBuilder();
    try {
        bufferedReader = new BufferedReader(new FileReader(files));
        String line;
        int count = 0;
        while ((line = bufferedReader.readLine()) != null) {
            if (line.contains("<page>")) {
                wholeDocument.append(line);
                while ((line = bufferedReader.readLine()) != null) {
                    wholeDocument = wholeDocument.append("n" + line);
                    if (line.contains("</page>")) {
                        System.out.println(count++);
                        addBodyToDatabase(wholeDocument.toString());
                        wholeDocument.setLength(0);
                        break;
                    }
                }
            }
        }
        wikiParser.commit();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        try {
            bufferedReader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
public void addBodyToDatabase(String wholeContent) {
    Page page = new Page(new Timestamp(System.currentTimeMillis()),wholeContent);
    database.addPageToDatabase(page);
}
public static int counter = 1;
public void addPageToDatabase(Page page) {
    session.save(page);
    if (counter % 3000 == 0) {
        commit();
    }
    counter++;
}解决方法
 首先,您应该在这里应用 
 fork-join方法. 
  
  主任务解析文件并将最多100个项目的批次发送到ExecutorService.ExecutorService应该具有许多工作线程,这些线程等于可用数据库连接的数量.如果你有4个CPU内核,那么假设数据库可以采用8个并发连接,而??无需进行太多的上下文切换. 然后,您应配置connection pooling DataSource并使minSize等于maxSize且等于8.尝试使用HikariCP或ViburDBCP进行连接池. 然后你需要配置JDBC batching.如果你使用MySQL,IDENTITY生成器将禁用沐浴.如果您使用的是支持序列的数据库,请确保您还使用增强的标识符生成器(它们是Hibernate 5.x中的默认选项). 这样,实体插入过程被并行化并且与主解析线程分离.主线程应该等待ExecutorService在关闭之前完成所有任务的处理. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! | 
