如何加速小文件的rsync

发布时间：2020-12-13 18:07:55 所属栏目：Linux 来源：网络整理

导读：我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器： rsync -zr –delete / home / user / user@10.1.1.1 :: backup 目前转移需要很长时间(我还没有计时).有没有办法让这更快？我应该使用其他工具吗？我应该在ssh上使用rsync而不是使用rs

我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器：

rsync -zr –delete / home / user / user@10.1.1.1 :: backup

目前转移需要很长时间(我还没有计时).有没有办法让这更快？我应该使用其他工具吗？我应该在ssh上使用rsync而不是使用rsync协议吗？

解决方法

您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zoredache所说,很可能是所有stat()调用产生的大量iops.任何同步工具都需要统计文件.同步运行iostat以验证.

所以问题就变成了;我该如何优化stat？两个简单的答案：

>获得更快的磁盘子系统(如果需要,在两台主机上)和
>调整文件系统(例如,使用noatime进行ext3安装并添加dir_index).

如果有可能不是你的磁盘iops是限制,那么你可以尝试将目录树拆分成多个不同的树并运行多个rsyncs.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!