linux-networking – 传输大量的小文件

发布时间：2020-12-13 17:19:15 所属栏目：Linux 来源：网络整理

导读：我将把两台带有大SAN附件的服务器迁移到我们的新VMWare环境中. 编辑：我必须提供一些额外的情报,因为我对VMWare解决方案有很好的答案. 好的,由于服务器上的某些技术限制,我无法在新系统上附加以前的EMC LUN. 我无法使用VMWare Converter来克隆新VM上丢失的卷

我将把两台带有大SAN附件的服务器迁移到我们的新VMWare环境中.

编辑：我必须提供一些额外的情报,因为我对VMWare解决方案有很好的答案.

好的,由于服务器上的某些技术限制,我无法在新系统上附加以前的EMC LUN.

我无法使用VMWare Converter来克隆新VM上丢失的卷,因为VMWare Converter无法看到EMC PowerPath伪设备,并且之前的管理员使用这些Pseudo-device来构建LVM2和/或ASM卷.

这两台物理服务器连接到旧的EMC2CX-340 SAN,可处理5TB数据.

那些5TB的数据是小PDF,我需要通过我们的1Gbit / s LAN将它们传输到新机器.

我尝试过使用rsync,但它确实会减慢并对RAM和CPU性能产生很大影响.

我尝试使用带有TAR的NC,但传输速率非常慢,因为我在1Gbit / s链路上的平均吞吐量约为50MB / s,流量几乎为零.

您能否给我一些建议或回报这种迁移的经验,以及您如何设法在合理的时间内完成它？

解决方法

如果您真的需要一种快速传输文件的方法,并且两个系统都是基于 Linux的,那么您可以尝试 UDR.

这实际上是一种rsync-over-UDP(使用开源UDT framework),对于移动大量文件或通过高带宽或高延迟链接进行传输特别方便.此外,默认情况下禁用加密,因此RAM / CPU命中率低于传统rsync. SSH也不涉及.

我可以轻松地在目录树中使用1000万个小TIFF文件获得超过1Gbps的线速传输.

您的语法将略微修改rsync.所有rsync标志都需要出现在源/目标规范之前：

udr rsync -avP --stats --delete /data/ server2:/data/

易于构建……你需要g和openssl-devel：

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

在源和目的地上执行此操作.

见：Possibility of WAN Optimization for SSH traffic

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!