gsutil rsync上的慢同步阶段？
发布时间：2020-12-14 03:06:55 所属栏目：Linux 来源：网络整理
导读：我刚刚开始使用GCS作为我的Web服务器的备份.一台服务器拥有120万JPEGS(3.5TB),这一切都在10个小时左右完美无缺. 另一个有250万JPEGS(虽然只有缩略图/预览 – 总共300GB).我第一次这样做,“建筑同步状态”很快就完成了250万次.几分钟.我的会话被中断了(wifi掉
|
我刚刚开始使用GCS作为我的Web服务器的备份.一台服务器拥有120万JPEGS(3.5TB),这一切都在10个小时左右完美无缺.
另一个有250万JPEGS(虽然只有缩略图/预览 – 总共300GB).我第一次这样做,“建筑同步状态”很快就完成了250万次.几分钟.我的会话被中断了(wifi掉线),当我进入SSH试图再次运行它时,“At source listing”提示快速通过10000,20000,30000.然后研磨到接近停止.半小时后,它只有300,000.我知道它必须弄清楚目的地有哪些文件,但我觉得不应该显着放慢“源头上市……”的回声？ 它是否表明我的文件系统存在问题,如果是这样,我应该检查什么？ 或者是出于任何原因预期的行为？ 尝试将gsutil rsync与200万个文件一起用于一个桶是个坏主意吗？我可以找不到谷歌关于有多少文件可以放在桶中的准则,所以我假设它是数十亿/无限？ FWIW文件都在嵌套子目录中,任何一个目录中的文件不超过2000个. 谢谢 编辑：我正在使用的确切命令是： gsutil -m rsync -r /var/www/ gs://mybucketname/var/www 解决方法
我发现了变化
output_chunk.writelines(unicode(''.join(current_chunk)))
至 output_chunk.write(unicode(''.join(current_chunk)))
在/gsutil/gslib/commands/rsync.py中有很大的不同.感谢GS团队的Mike的帮助 – 这个简单的更改已经在github上推出了： https://github.com/GoogleCloudPlatform/gsutil/commit/a6dcc7aa7706bf9deea3b1d243ecf048a06a64f2 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |