Windows上的Java / MongoDB消息长度错误,但Linux上没有

“we are currently working on importing huge JSON files (~100 MB) into
MongoDB using the java driver”

我们是在谈论一个包含1000个JSON对象的JSON文件还是一个大小约为100MB的JSON对象？因为如果我没记错的话,每个对象的16MB限制不是每个包含1000个JSON对象的JSON文件.

也！

"Thu Sep 13 11:38:48 [conn1] recv(): message len 1835627538 is too
large1835627538"

the chunk that caused the error was only some kB large.

如果1835627538确实在kb,这是相当大的,导致约1750千兆比特！

要绕过包含1000个JSON对象的JSON文件,为什么不逐行遍历数据文件并以这种方式进行插入？使用我的方法无论数据文件有多大,迭代器只是指向特定行的指针.它不会将WHOLE FILE加载到内存中并插入.

注意：这假设您的数据文件每行包含1个JSON对象.

使用Apache Commons IO FileUtils(单击here),您可以使用它们的Line迭代器来遍历您的文件,例如(不完全正常工作的代码,需要导入正确的库)：

LineIterator line_iter;
    try {
        line_iter = FileUtils.lineIterator(data_file);      
        while (line_iter.hasNext()) {
            line = line_iter.next();

            try {
                    if (line.charAt(0) == '{') 
                            this.mongodb.insert(line);
            } catch (IndexOutOfBoundsException e) {}
            }
        }
        line_iter.close(); // close the iterator  
    } catch (IOException e) {
        e.printStackTrace();
    }