通过bash管道处理大文件,它是否缓冲？

发布时间：2020-12-15 18:36:25 所属栏目：安全来源：网络整理

导读：我需要使用如下命令： $cat large.input.file | process.py large.output.file 问题是,因为这不会使硬盘在读取输入文件和写入输出文件之间跳转困难吗？有没有办法告诉bash在做这种管道时使用大内存缓冲区？别担心.操作系统会为你做缓冲,它通常非常擅长. 话

我需要使用如下命令：

$cat large.input.file | process.py > large.output.file

问题是,因为这不会使硬盘在读取输入文件和写入输出文件之间跳转困难吗？

有没有办法告诉bash在做这种管道时使用大内存缓冲区？

别担心.操作系统会为你做缓冲,它通常非常擅长.

话虽如此：
如果您可以更改process.py,则可以实现自己的缓冲.
如果你不能改变process.py,你可以编写自己的buffer.py和
像这样使用它.

$cat large.input.file | buffer.py | process.py | buffer.py > large.output.file

从RAM磁盘读取和写入可能要容易得多.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!