Linux页面缓存会降低双CPU服务器上的IO(64GB内存)

我的 linux页面缓存存在很大问题,这会降低IO的速度.例如,如果我使用dd复制lvm分区,linux会将数据缓存在缓冲区或缓存中(free -m).这不是问题,但在缓冲区达到特殊值后,复制过程停止并减慢到几mbs甚至kbs.我在写入磁盘或/ dev / null时做了很多测试,问题与源驱动器或目标无关.

详细地：

>有两个几乎相同的服务器.两者都使用相同的内核运行CentOS 6.5.它们具有相同的磁盘,相同的设置,相同的其他硬件,各方面都相同.唯一的区别是一个服务器有2个CPU和64GB内存,另一个服务器有1个CPU和32 GB内存.
>以下是以下复制过程的图像：http://i.stack.imgur.com/tYlym.jpg
>这里有meminfo的新版本. meminfo来自不同的运行,因此值不是标识,但它是完全相同的行为：http://i.stack.imgur.com/4SIJG.jpg
>使用dd或其他文件系统复制程序启动复制.
>缓冲区或缓存开始填充.一切都很好.
>缓冲区或缓存达到最大数量(在64GB ram服务器上的值为32GB或17GB;在32GB ram服务器上的所有可用内存)
>在64GB RAM服务器上,复制过程现在停止或限制为几mbs.在32GB ram服务器上一切都很好.
>在64GB ram服务器上,我可以通过使用“sync; echo 3> / proc / sys / vm / drop_caches”强制缓存来解决问题.但当然缓冲区立即开始再次增长,问题再次发生.

结论：

这个问题要么与第二个cpu有关,要么与内存总量有关.我有“感觉”问题,即每个cpu都有自己的32GB内存,并且复制过程只在cpu上运行.所以最后复制过程将缓冲区/缓存增加到接近32GB或其他cpu的未使用内存然后linux认为嘿还有内存所以让我们进一步增加缓冲区但是下面的硬件无法访问内存,或者某事像那样.

有人有想法或解决方案吗？当然我可以使用直接标志的dd,但这不解决问题,因为还有通过samba等外部访问.

EDIT1：

这里还有来自64GB ram服务器的/ proc / zoneinfo：
1. http://pastebin.com/uSnpQbeD(在dd开始之前)2.http://pastebin.com/18YVTfdb(当dd停止工作时)

EDIT2：

> VM设置：http://pastebin.com/U9E9KkFS
> / proc / sys / vm / zone_reclaim_mode位于32 GB ram服务器0和64 GB ram服务器1上.我从未触及此值.安装程序设置这些.我将其更改为0并重试测试.现在所有内存都用于缓冲区和缓存.所以它看起来很棒,就像其他服务器一样.但随后它立即开始以全速交换…我将交换设置为0.这有所帮助,但它仍然每秒交换几mb.它每隔一段时间就会增加缓冲区.所以它不交换缓冲区,它交换vms的内存以获得更多的内存来增加缓冲区……疯狂.但也许这是正常的！？

EDIT3：

/ proc / buddyinfo和numactl –hardware：
http://pastebin.com/0PmXxxin

最后结果

> / proc / sys / vm / zone_reclaim_mode肯定是技术上的方法,但是机器后的机器效果不好.例如：如果我复制一个磁盘linux,现在使用100％的free mem来缓冲(不像之前只有XGB然后停止).但是在最后一个免费mem被用来缓冲的时候,linux开始交换vm内存并增加缓冲区和缓存的总量.在我的系统中通常不需要交换,因此交换内存与某些虚拟机位于同一磁盘上.在结果中如果一个备份这些vms linux写入交换的同时我从磁盘读取备份.因此交换vms是不好的,但是甚至更糟的是linux破坏了我的备份读取速度…所以将/ proc / sys / vm / zone_reclaim_mode设置为0不解决完整的问题…目前我在一个屏幕一个脚本,每隔10秒同步并刷新一次缓存…不是很好,但对我来说效果更好.我在系统上没有网络服务器或普通文件服务器.我只运行vms,通过samba进行备份和存储备份.我不喜欢这个解决方案.