linux – 将200GB的文件上传到S3

发布时间：2020-12-13 17:11:29 所属栏目：Linux 来源：网络整理

导读：在 Linux中将200GB tar.gz文件上传到S3的最佳方法是什么？在研究中我发现对象的S3限制已经增加到5TB并且开始了解用于加速上传的多部分上传机制.我发现了一个python脚本boto可能对此有所帮助.有人能否对这个话题有所了解？解决方法不要上传它.发表它. http:

在 Linux中将200GB tar.gz文件上传到S3的最佳方法是什么？在研究中我发现对象的S3限制已经增加到5TB并且开始了解用于加速上传的多部分上传机制.我发现了一个python脚本boto可能对此有所帮助.有人能否对这个话题有所了解？

不要上传它.发表它.
http://aws.amazon.com/importexport/

亚马逊提供的服务是您向他们发送便携式媒体,并从他们的快速骨干网上为您上传数据.

如果你真的很想自己做,那就拿一份S3cmd并做s3cmd同步.

“Never underestimate the bandwidth of a station wagon full of tapes
hurtling down the highway.” – Andrew S Tanenbaum

编辑：
如果您真的希望能够对文件上传进行分块,我建议您执行以下操作.

>掌握具有足够临时存储空间的AWS EC2实例,以保存要上载的文件.>使用GNU Split将文件分成更小的块.>将块上传到临时EC2实例.>使用拆分选项重新组装块以重新组装.>从EC2上传块到S3(非常快！)>关闭EC2实例,但要保持方便.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!