linux – rsync运行时间太长

发布时间：2020-12-13 18:15:52 所属栏目：Linux 来源：网络整理

导读：我有一个负载均衡器设置涉及2服务器.这两台服务器互为镜像. blanacer的主要用途是提供静态文件.我们称它们为服务器A和服务器B. 服务器A将从不同网络上的远程主机检索文件.正在检索的远程文件是社区网站的媒体文件,因此rsync需要每30分钟运行一次,以使文件保

我有一个负载均衡器设置涉及2服务器.这两台服务器互为镜像. blanacer的主要用途是提供静态文件.我们称它们为服务器A和服务器B.

服务器A将从不同网络上的远程主机检索文件.正在检索的远程文件是社区网站的媒体文件,因此rsync需要每30分钟运行一次,以使文件保持同步.其他明智的用户将看到损坏的图像等.服务器A也通过http服务文件,峰值时间为400MB / S.

服务器B将与服务器A上的文件进行rsync,为了保持一致性,rsync也每30分钟运行一次.服务器B也通过http服务文件,峰值时间为400MB / S.

A和B上的负载一直是非常高的负载平均值：8.00,8.10,7.68甚至更多

如何改进设置以减少服务器负载并提高rsync效率？

谢谢

解决方法

这取决于导致这种高处理器利用率的原因.如果高处理器利用率是由生成文件校验和的Rsync引起的,那么您可以执行一些操作.

您可能根本不需要校验和.默认情况下,rsync根据修改时间和文件大小决定文件是否不同.如果添加“-c”选项,它将通过比较校验和来确定文件是否不同.如果您不需要校验和,请省略该选项.

如果确实需要校验和,则在某些情况下校验和缓存可能有效.如果要同步的文件不经常更改,则可以在cron作业中每天生成一次校验和,rsync将使用生成的校验和. Rsync仍将为任何新文件或与创建校验和时具有不同修改时间或大小的任何文件生成校验和.

此信息基于rsync 3.0.5,但在3.0.6中应该相同.
你需要重新编译rsync;校验和缓存是一个补丁.这是我用来编译rsync的内容：

rsync_version="3.0.5"
scriptroot="Set this to your working directory."
mkdir -p $scriptroot/rsync-source/rsync-working
cd $scriptroot/rsync-source/rsync-working
tar xvzf ../rsync-${rsync_version}.tar.gz
tar xvzf ../rsync-patches-${rsync_version}.tar.gz
cd $scriptroot/rsync-source/rsync-working/rsync-${rsync_version}
patch -p1 < patches/checksum-reading.diff
./configure
make

然后使用rsyncsums生成校验和.调用rsync时,请使用“–sumfiles = lax”选项.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!