加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Java > 正文

java – 多核环境中的BufferedReader

发布时间:2020-12-15 00:54:43 所属栏目:Java 来源:网络整理
导读:我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快. 然后读取每个文件如下: BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data))); 当使用单个核心按顺序处理时,需要花费60
我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快.

然后读取每个文件如下:

BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data)));

当使用单个核心按顺序处理时,需要花费60秒才能完成.但是,当在8个单独的核心上分配计算时,每个文件花费的时间远远超过60秒.

由于数据都在内存中并且没有执行IO操作,因此我认为每个核处理一个文件所需的时间不应超过60秒.因此,总共8个文件应该在60秒内完成,但事实并非如此.

我错过了BufferedReader行为的一些内容吗?或上述代码中使用的任何读者.

值得一提的是,我正在使用此代码首先上传文件:

byte[] content=org.apache.commons.io.FileUtils.readFileToByteArray(new File(filePath));

所有代码如下所示:

For each file
 read the file into a byte[]
 add the byte[] to a list
end For
For each item in the list
 create a thread and pass a byte[] to it
end For

解决方法

你是如何实际“分发计算”的?是否涉及同步?你只是创建8个线程来读取8个文件?

你在运行什么平台(linux,windows等)?我从Windows调度程序看到了看似奇怪的行为,之后它将单个进程从核心移动到核心,以尝试平衡核心之间的负载.这最终导致性能降低,而不仅仅是允许单个核心比其余核心使用更多.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读