linux – 传输15TB的小文件

发布时间：2020-12-13 18:45:36 所属栏目：Linux 来源：网络整理

导读：我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的文件列表,并在另一周内传输1 TB的数据. 然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间. 我们已经同意将它们放在一边,因为我们可能不

我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的文件列表,并在另一周内传输1 TB的数据.

然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间.

我们已经同意将它们放在一边,因为我们可能不需要再次访问它.我想把它分成500 GB的块.在我开始焦油之后,我将通过ssh复制它.我使用焦油和猪,但它仍然太慢.

有没有更好的方法呢？我认为两台服务器都在Redhat上.旧服务器是Ext4,新服务器是XFS.

文件大小从几kb到几mb,在5TB中有2400万jpeg.所以我猜测15TB大约有600-8000万.

编辑：玩rsync,nc,tar,mbuffer和pigz几天后.瓶颈将是磁盘IO.由于数据是在500个SAS磁盘和大约2.5亿个jpeg上划分的.但是,现在我了解了将来可以使用的所有这些好工具.

我使用tar,pigz(并行gzip)和nc获得了非常好的结果.

源机器：

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

目的地机器：

提取：

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

保存档案：

nc source_machine_ip 9876 > smallstuff.tar.gz

如果你想在pigz -d之后看到传输速率只是穿过pv！

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!