一个更好的unix找到并行处理？
发布时间：2020-12-15 18:44:27 所属栏目：安全 来源：网络整理
导读：unix find(1)实用程序非常有用,允许我对符合特定规范的许多文件执行操作,例如： find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} ; 以上操作可能会在特定目录中的每个XML文件上运行脚本或工具. 假设我的脚本/程序耗费了大量CPU时间,
|
unix find(1)实用程序非常有用,允许我对符合特定规范的许多文件执行操作,例如：
find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} ;
以上操作可能会在特定目录中的每个XML文件上运行脚本或工具. 假设我的脚本/程序耗费了大量CPU时间,而且我有8个处理器.一次处理多达8个文件会很不错. GNU make允许使用-j标志进行并行作业处理,但find似乎没有这样的功能.是否有替代通用的作业调度方法？
带有-P选项的xargs(进程数).假设我想压缩4-cpu机器上目录中的所有日志文件：
find . -name '*.log' -mtime +3 -print0 | xargs -0 -P 4 bzip2 你也可以说-n< number>对于每个进程的最大工作单元数.所以说我有2500个文件,我说： find . -name '*.log' -mtime +3 -print0 | xargs -0 -n 500 -P 4 bzip2 这将启动4个bzip2进程,每个进程有500个文件,然后当第一个完成另一个进程时,将启动最后500个文件. 不知道为什么以前的答案使用xargs和make,你有两个并行引擎！ （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |