Bash：在许多文件上并行化md5sum校验和
发布时间：2020-12-15 18:45:40 所属栏目：安全 来源：网络整理
导读：让我说,我有一个64核服务器,我需要计算/ mnt / data中的所有文件的md5sum,并将结果存储在一个文本文件中： find /mnt/data -type f -exec md5sum {} ; md5.txt 上述命令的问题是,只有一个进程在任何给定的时间运行.我想利用我64核的全部力量.理想情况下,我
|
让我说,我有一个64核服务器,我需要计算/ mnt / data中的所有文件的md5sum,并将结果存储在一个文本文件中：
find /mnt/data -type f -exec md5sum {} ; > md5.txt
上述命令的问题是,只有一个进程在任何给定的时间运行.我想利用我64核的全部力量.理想情况下,我想确保,在任何给定的时间,64个并行的md5进程正在运行(但不超过64个). 也.我需要将所有进程的输出存储到一个文件中. 注意：我并没有寻找一种并行计算一个文件的md5sum的方法.我正在寻找一种方法来并行计算64个不同文件的64 md5sums,只要有任何文件来自find.
使用
GNU parallel.你可以找到更多关于如何实现它的例子
here.
find /mnt/data -type f | parallel -j 64 md5sum > md5.txt （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |