rsync – 前向同步到HDFS？ (或继续不完整的hdfs上传？)

发布时间：2020-12-13 17:10:42 所属栏目：Linux 来源：网络整理

导读：任何人都有一个很好的建议,正确同步到HDFS？ (“正向同步”与“双向同步”相反) 基本上我有大量的文件要放入HDFS.它如此之大,以至于我常常会在完成之前失去连接.我想做的只是做一个文件上传的“简历”.但是,hadoop fs -put将只重新上传整个目录(或者如果存在

任何人都有一个很好的建议,正确同步到HDFS？ (“正向同步”与“双向同步”相反)

基本上我有大量的文件要放入HDFS.它如此之大,以至于我常常会在完成之前失去连接.我想做的只是做一个文件上传的“简历”.但是,hadoop fs -put将只重新上传整个目录(或者如果存在则进行抱怨).

任何人都有一个很好的方法来继续不完整的hdfs上传？

如果你正在运行一个足够新的Hadoop,你可以使用FUSE挂载hdfs并只使用rsync.

也可以构建一个仅限本地的hdfs,然后使用distcp.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!