加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > Linux > 正文

rsync – 在两个NFS 1Gb / s文件夹之间移动9千万个文件(270GB)的

发布时间:2020-12-14 01:44:10 所属栏目:Linux 来源:网络整理
导读:我需要将9000万个文件从NFS文件夹移动到第二个NFS文件夹,两个到NFS文件夹的连接都使用相同的eth0,即NFS服务器的1Gb / s,不需要Sync,只移动(如果存在则覆盖) .我认为我的主要问题是文件数量,而不是总大小.最好的方法应该是每个文件对NFS文件夹的系统调用较少
我需要将9000万个文件从NFS文件夹移动到第二个NFS文件夹,两个到NFS文件夹的连接都使用相同的eth0,即NFS服务器的1Gb / s,不需要Sync,只移动(如果存在则覆盖) .我认为我的主要问题是文件数量,而不是总大小.最好的方法应该是每个文件对NFS文件夹的系统调用较少的方式.

我尝试了cp,rsync,最后http://moo.nac.uci.edu/~hjm/parsync/ parsync首先花了10个小时生成12 GB gzip的文件列表,花了40个小时后没有一个文件被复制,它工作到10个线程,直到我取消它并开始调试,我发现它正在使用-vvv选项(使用rsync)对每个文件(来自列表)再次进行调用(stat?):

[sender] make_file(accounts/hostingfacil/snap.2017-01-07.041721/hostingfacil/homedir/public_html/members/vendor/composer/62ebc48e/vendor/whmcs/whmcs-foundation/lib/Domains/DomainLookup/Provider.php,*,0)*

parsync命令是:

time parsync  --rsyncopts="-v -v -v" --reusecache --NP=10 --startdir=/nfsbackup/folder1/subfolder2 thefolder /nfsbackup2/folder1/subfolder2

每个rsync都有以下形式:

rsync --bwlimit=1000000 -v -v -v -a --files-from=/root/.parsync/kds-chunk-9 /nfsbackup/folder1/subfolder2 /nfsbackup2/folder1/subfolder2

NFS文件夹已挂载:

server:/export/folder/folder    /nfsbackup2   nfs      auto,noexec,noatime,nolock,bg,intr,tcp,actimeo=1800,nfsvers=3,vers=3 0 0

知道如何指示rsync将列表中已有的文件从nfs复制到nfs2文件夹吗?或者任何有效制作此副本的方法(每个文件一个系统调用?)

解决方法

我曾经遇到过同样的问题,我发现最好只运行一个find命令并单独移动每个文件.

cd /origin/path
find . | cpio -updm ../destination/

-u command will override the existing files

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读