linux – 需要高性能/ bin / sort;有什么建议？

发布时间：2020-12-13 17:55:57 所属栏目：Linux 来源：网络整理

导读：我正在寻找高性能/ bin / sort drop替代品.我知道pbzip2使用多个内核,但是/ bin / sort有类似的产品吗？我找到了distsort.sh,但我想要一些不那么IO密集的东西.我想要非常频繁地排序哦.. 60 gig的数据. 解决方法 GNU sort有-m可能会帮助你.假设您有200个.gz

我正在寻找高性能/ bin / sort drop替代品.我知道pbzip2使用多个内核,但是/ bin / sort有类似的产品吗？

我找到了distsort.sh,但我想要一些不那么IO密集的东西.我想要非常频繁地排序哦.. 60 gig的数据.

解决方法

GNU sort有-m可能会帮助你.假设您有200个.gz文件要排序和组合.然后你可以使用GNU Parallel来做：

seq 1 200 | parallel mkfifo /tmp/{}
ls *.gz | nice parallel -j200 'zcat {} | sort >/tmp/$PARALLEL_SEQ' &
seq 1 200 | parallel -X sort -m /tmp/{} >/tmp/sorted

如果I / O是问题并且内存不是问题,则使用-S进行第一次排序以确保所有内容都保留在内存中.此外,您可能希望每次写入磁盘时都使用lzop(–compress-program = lzop)：磁盘通常是限制因素,因此在运行中lzopping可以为您提供额外的速度.或者你可以制作一个RAM磁盘并将-T设置为该目录.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!