如何使用rsync和inotify“正确”同步数百万个文件？

发布时间：2020-12-13 16:36:12 所属栏目：Linux 来源：网络整理

导读：假设我有100万个文件,文件列表就像20MB.如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件.我的网络不好,我可能不得不限制带宽(–bwlimit). 可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs. 这值得么？有没有更好的办法

假设我有100万个文件,文件列表就像20MB.如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件.我的网络不好,我可能不得不限制带宽(–bwlimit).

可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs.

这值得么？有没有更好的办法？

你的情况听起来正好是 lsyncd的制作. 它使用inotify监视目录,并仅使用已更改的文件生成rsync. 它会将更改聚合几秒钟. 因此,当您在一秒钟内进行5次更改时,它只会向目标服务器生成一个新的同步进程.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!