Rsync需要8个小时来备份15M文件

发布时间：2020-12-14 02:53:32 所属栏目：Linux 来源：网络整理

导读：我有~700GB的存储空间,我存储~15M文件,因此平均文件大小约为50KB.要备份它,过夜我运行一个带有以下标志的简单rsync脚本： --archive --update --compress --numeric-ids --human-readable --stats rsync完成其工作需要8个小时,平均每天移动约1-4GB的数据.这

我有~700GB的存储空间,我存储~15M文件,因此平均文件大小约为50KB.要备份它,过夜我运行一个带有以下标志的简单rsync脚本：

--archive --update --compress --numeric-ids --human-readable --stats

rsync完成其工作需要8个小时,平均每天移动约1-4GB的数据.这对我来说似乎非常低效.

我可以调整我的rsync脚本吗？我想我最好的选择是迁移到MongoDB或类似的东西,但是存在问题,因为当前的基础设施依赖于在posix文件系统上访问的文件,将它们迁移到完全不同的东西可能需要额外的工作,可能太多的工作……还有什么其他最好的策略？

解决方法

rsync需要很长时间来分析那么多文件,即使传输是有效的.它必须超过15M IO,加上或减去缓存.你可以扔掉非常快的存储空间,但这可能会很昂贵.

zfs建议使用块级副本,其中这将成为一个要传输的巨型文件.

这些概念也适用于lvm,虽然它可能需要更多的脚本,因为没有内置远程快照.请参阅lvmsync之类的想法.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!