linux – Debian上的NFS性能问题

建立：

机器1’视频1’：双5506 w / 12GB内存,8x3TB RAID6上的XFS从’/ mnt / storage’导出为’video1′

机器2’存储1’：Phenom X2 @ 3.2Ghtz w / 8GB ram,5x2TB上的ZFS从/ mnt / storage1-storage导出为’storage1′

本地写入性能：

mackek2@video1:/mnt/storage/testing$dd if=/dev/zero of=localwrite10GB bs=5000k count=2000
2000+0 records in
2000+0 records out
10240000000 bytes (10 GB) copied,16.7657 s,611 MB/s

本地读取性能：

两者都连接到相同的HP千兆位开关,iperf两种方式均可提供坚固的940mbps.

我的问题是,当我从storage1写入video1导出时,性能就到处都是.似乎是前几个(5-7)文件传输演出(我希望尽可能快地移动30-120GB AVCHD或MJPEG文件),性能从900mbps下降到150-180mbps,所以慢到30mbps.如果我重新启动NFS内核服务器,性能会重新启动几次演出.

mackek2@storage1:/mnt/video1/testing$dd if=/dev/zero of=remoteWrite10GB count=2000 bs=5000K
2000+0 records in
2000+0 records out
10240000000 bytes (10 GB) copied,223.794 s,45.8 MB/s
mackek2@storage1:/mnt/video1/testing$dd if=/dev/zero of=remoteWrite10GBTest2 count=2000 bs=5000K
2000+0 records in
2000+0 records out
10240000000 bytes (10 GB) copied,198.462 s,51.6 MB/s
mackek2@storage1:/mnt/video1/testing$dd if=/dev/zero of=bigfile776 count=7000 bs=2000K
7000+0 records in
7000+0 records out
14336000000 bytes (14 GB) copied,683.78 s,21.0 MB/s
mackek2@storage1:/mnt/video1/testing$dd if=/dev/zero of=remoteWrite15GB count=3000 bs=5000K
3000+0 records in
3000+0 records out
15360000000 bytes (15 GB) copied,521.834 s,29.4 MB/s

当事情进展得很快时,客户端上的nfsiostat会给出几毫秒的平均RTT,但是一旦性能下降,它就会飙升到1.5秒以上.此外,在写入发生时,CPU队列深度会跳升到8以上.

现在,当从同一个出口读取时,我得到漂亮的890Mbps给予或采取几mbps的整个读取.

mackek2@storage1:/mnt/video1/testing$dd if=remoteWrite10GBTest2 of=/dev/null
20000000+0 records in
20000000+0 records out
10240000000 bytes (10 GB) copied,89.82 s,114 MB/s
mackek2@storage1:/mnt/video1/testing$dd if=remoteWrite15GB of=/dev/null
30000000+0 records in
30000000+0 records out
15360000000 bytes (15 GB) copied,138.94 s,111 MB/s

反过来使用storage1作为NFS服务器也是如此. CPU队列跳起来,速度下降到垃圾,我把头发拉出来.

我已经尝试将NFS守护进程的数量增加到多达64个,并且在几次演出后仍然会出现问题.