Rsync庞大的小文件数据集5TB,M小文件
发布时间：2020-12-13 16:41:03 所属栏目：Linux 来源：网络整理
导读：我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件. 我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！ 我试图改变rsync开关,但仍然没有运气.
|
我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件.
我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！ 我试图改变rsync开关,但仍然没有运气. 以下是当前在服务器上运行的没有任何进度指示的内容： rsync -avhWc –no-compress –progress源目标 有人建议使用gigasync,但 github和网站不可用. 任何人都可以建议传输文件的方法吗？ 感谢任何帮助 解决方法
试试xargs rsync：
find . -type f -print0 | xargs -J % -0 rsync -aP % user@host:some/dir/ 您可以使用-n控制每次调用rsync作为源传递的文件数 find . -type f -print0 | xargs -n 200 -J % -0 rsync -aP % user@host:some/dir/ 如果它太慢,您可以与-P选项并行运行多个rsync副本： find . -type f -print0 | xargs -P 8 -n 200 -J % -0 rsync -aP % user@host:some/dir/ 这将并行启动8个rsync副本. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |