rsync – 快速将文件发送到数十台服务器

发布时间：2020-12-13 16:54:53 所属栏目：Linux 来源：网络整理

导读：我们有一组机器(大约50台并且还在增长).每台计算机都有一个搜索索引,需要每天多次更新.我们目前单独更新每台计算机上的索引,但理想情况下,我们可以在一台计算机上更新它,然后将新文件同步到群集的其余部分.我们最初使用rsync来处理这个问题,但随着机器数量的

我们有一组机器(大约50台并且还在增长).每台计算机都有一个搜索索引,需要每天多次更新.我们目前单独更新每台计算机上的索引,但理想情况下,我们可以在一台计算机上更新它,然后将新文件同步到群集的其余部分.我们最初使用rsync来处理这个问题,但随着机器数量的增加,很明显这个解决方案无法扩展.我刚开始研究多播文件传输.在这里有经验的人可以建议一些地方看吗？

解决方法

对我来说,这是一个面试问题……

多播选项：
BitTorrent的
使用pub / sub消息传递的其他协议.

另一种方法……使用分发树：
发送给N个主机,每个主机将发送给N个主机;并以这种方式在树上工作.这当然需要一些开发工作,但它可能是更具可扩展性的方法.

其中大部分取决于您实际需要满足的系统数量,索引大小和网络基础架构.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!