linux – 同时运行多个scp线程
同时运行多个scp线程:
背景: 我经常发现自己经常镜像一组服务器文件,并且这些服务器文件中包含数千个小的1kb-3kb文件.所有服务器都连接到1Gbps端口,通常分布在各种数据中心. 问题: SCP一个接一个地传输这些小文件,这需要很长时间,我觉得我在浪费我拥有的美丽网络资源. 解?: 我有个主意;创建一个脚本,将文件分成相等的数量,然后启动5-6个scp线程,从理论上讲,这样可以快5-6倍,不是吗?但我没有任何linux脚本编写经验! 问题(S): >对于上述问题,是否有更好的解决方案? 解决方法
我会这样做:
tar -cf – / manyfiles | ssh dest.server’tar -xf – -C / manyfiles’ 根据您传输的文件,在tar命令中启用压缩是有意义的: 为ssh命令(如arcfour)选择CPU友好密码也可能有意义: 或者将它们结合起来,但这实际上取决于你的瓶颈是什么.显然,如果您正在进行增量同步,rsync将会快得多. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |