linux – 调整顺序磁盘读取以提高性能
|
我正在从磁盘顺序读取一个大文件,并尝试在读取过程中理解iostat输出.
>文件大小：10 GB iostat输出如下 Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 0.00 0.00 833.00 14.00 103.88 0.05 251.30 6.07 5.69 2.33 205.71 1.18 100.00 计算I / O请求的平均大小=(rMB / s除以r / s)得到~128 KB,这是预读值.这似乎表明,当读取系统调用指定了4KB缓冲区时,实际磁盘I / O根据预读值发生. 当我将预读值增加到256KB时,iostat输出如下 Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sda 0.00 28.00 412.00 12.00 102.50 0.05 495.32 10.78 12.15 4.76 265.83 2.36 100.00 同样,平均I / O请求大小为256 KB,与预读相匹配. 这一直持续到我将512 KB设置为预读值并且当我向上移动到1024 KB的预读值时没有保持 – I / O请求的平均大小仍为512 KB.将max_sectors_kb(每个I / O请求的最大数据量)从默认的512 KB增加到1024 KB也没有帮助. 为什么会发生这种情况 – 理想情况下,我希望尽可能减少读取的IOPS,并为每个I / O请求读取大量数据(每个请求大于512 KB).此外,我在所有情况下都达到了100％的磁盘利用率 – 我希望通过良好的顺序吞吐量来限制自己读取50-60％的磁盘利用率.简而言之,顺序读取I / O的优化应用程序/内核设置是什么. 解决方法
您说您希望最小化读取IOPS并最大化每个IO请求的大小.我怀疑你不会真的从中受益.通常情况下,我会关注最大化吞吐量,同时最大限度地减少延迟,并为特定应用程序找到两者之间的良好平衡.
请注意,当您从128kB预读到256kB预读时,读取吞吐量实际上从103.88MB / s降至102.50MB / s.我不希望这种趋势在更高的预读尺寸上反转.如果数据不是纯粹的顺序,那么较高的预读也会带来更多浪费IO的风险,这会降低有用IO的性能. 如果您感兴趣,512kB限制可能来自存储堆栈中的另一层,例如SCSI驱动程序,控制器固件或总线. 要限制IO,您可以查看以下内容：How to Throttle per process I/O to a max limit? （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |