如何使用bash同时处理文件？
发布时间：2020-12-15 22:28:02 所属栏目：安全 来源：网络整理
导读：假设我有10K文件和一个处理单个文件的bash脚本.现在我想同时处理所有这些文件,只有并行运行的K脚本.我不希望(显然)多次处理任何文件. 你会如何建议在bash中实现它？ 解决方法 执行有限数量的并行作业的一种方法是使用 GNU parallel.例如,使用以下命令： find
|
假设我有10K文件和一个处理单个文件的bash脚本.现在我想同时处理所有这些文件,只有并行运行的K脚本.我不希望(显然)多次处理任何文件.
你会如何建议在bash中实现它？ 解决方法
执行有限数量的并行作业的一种方法是使用
GNU parallel.例如,使用以下命令：
find . -type f -print0 | parallel -0 -P 3 ./myscript {1}
您将当前目录(及其子目录)中的所有文件作为参数传递给myscript,一次一个. -0选项将分隔符设置为空字符,-P选项设置并行执行的作业数.默认并行进程数等于系统中的核心数.群集等中还有其他并行处理选项,记录于here. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |