linux – 如何扩展UDP读取吞吐量？
发布时间：2020-12-13 23:02:02 所属栏目：Linux 来源：网络整理
导读：设置：两个 linux(CentOS 6)服务器通过专用的GigE链路背对背连接.每台服务器有24个内核和32GB RAM 客户端：模拟器在一个线程中尽可能快地拍摄UDP数据包.每个数据包大小为256个字节.我看到最大吞吐量是~200,000包/秒. 服务器：在一个线程中接收UDP套接字上的
|
设置：两个
linux(CentOS 6)服务器通过专用的GigE链路背对背连接.每台服务器有24个内核和32GB RAM
客户端：模拟器在一个线程中尽可能快地拍摄UDP数据包.每个数据包大小为256个字节.我看到最大吞吐量是~200,000包/秒. 服务器：在一个线程中接收UDP套接字上的数据包并执行轻量级解析.我看到最大吞吐量是~200,000包/秒,CPU 1个核心在处理过程中利用率为85％左右.没有数据包丢失,接收缓冲区设置为128M以防万一. 现在我有23个额外的核心我想使用,但是一旦我在服务器端添加一个线程用于接收数据,并且客户端线程通过专用套接字在客户端端发送数据,我看到很多数据包在服务器端丢失. 服务器线程完全相互独立,除了I / O外不会阻塞.它们不会在套接字上竞争,因为它们中的每一个都从它们自己的UDP套接字中吸取数据包. 我看到以下行为： >每个核心的CPU大约为85％,如果是额外的核心,则使用大约90％的ksoftirqd / xx进程. Google表示ksoftirqd使用CPU来处理软中断,而重度系统调用(UDP读取)可能是此内核线程CPU使用率过高的原因之一. 我通过将我的进程固定到同一个物理插槽上的一堆核心来重复实验,我发现性能提高到150,000个数据包/秒,但仍有一些相当大的数据包丢失. 有没有办法可以提高程序的可扩展性并最大限度地减少数据包丢失？ 解决方法
首先,每秒200,000个数据包,每个数据包有256个(数据？)字节,一旦考虑到UDP,IP和以太网开销,您的千兆链路的运行容量几乎只有计算带宽的一半.在您推动的每秒数据包速率下,许多交换机(例如)会倒下.
其次,你可能被IRQ杀死了.更好的网卡具有可调参数,可以让您减少更少的IRQ以增加延迟(它们每N个数据包仅中断一次).确保已启用该功能. (一个要检查的地方是以太网卡的模块参数.) （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |