java – 多核环境中的BufferedReader
发布时间:2020-12-15 00:54:43 所属栏目:Java 来源:网络整理
导读:我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快. 然后读取每个文件如下: BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data))); 当使用单个核心按顺序处理时,需要花费60
我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快.
然后读取每个文件如下: BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data))); 当使用单个核心按顺序处理时,需要花费60秒才能完成.但是,当在8个单独的核心上分配计算时,每个文件花费的时间远远超过60秒. 由于数据都在内存中并且没有执行IO操作,因此我认为每个核处理一个文件所需的时间不应超过60秒.因此,总共8个文件应该在60秒内完成,但事实并非如此. 我错过了BufferedReader行为的一些内容吗?或上述代码中使用的任何读者. 值得一提的是,我正在使用此代码首先上传文件: byte[] content=org.apache.commons.io.FileUtils.readFileToByteArray(new File(filePath)); 所有代码如下所示: For each file read the file into a byte[] add the byte[] to a list end For For each item in the list create a thread and pass a byte[] to it end For 解决方法
你是如何实际“分发计算”的?是否涉及同步?你只是创建8个线程来读取8个文件?
你在运行什么平台(linux,windows等)?我从Windows调度程序看到了看似奇怪的行为,之后它将单个进程从核心移动到核心,以尝试平衡核心之间的负载.这最终导致性能降低,而不仅仅是允许单个核心比其余核心使用更多. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |