linux – 为什么总是连接5个没有程序的连接？

>服务器使用epoll来管理连接.
>我建立了3000个连接.
>连接阻塞.
>服务器基本上“减少”到仅处理连接并执行非常复杂的工作.

我不能复制这个问题.这是我的服务器源代码.

#include <stddef.h>
#include <stdint.h>
#include <stdbool.h>
#include <stdlib.h>
#include <stdio.h>

#include <errno.h>
#include <netdb.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/epoll.h>

#include <err.h>
#include <sysexits.h>
#include <string.h>
#include <unistd.h>

struct {
  int numfds;
  int numevents;
  struct epoll_event *events;
} connections = { 0,NULL };

static int create_srv_socket(const char *port) {
  int fd = -1;
  int rc;
  struct addrinfo *ai = NULL,hints;

  memset(&hints,sizeof(hints));
  hints.ai_flags = AI_PASSIVE;

  if ((rc = getaddrinfo(NULL,port,&hints,&ai)) != 0)
    errx(EX_UNAVAILABLE,"Cannot create socket: %s",gai_strerror(rc));

  if ((fd = socket(ai->ai_family,ai->ai_socktype,ai->ai_protocol)) < 0)
    err(EX_OSERR,"Cannot create socket");

  if (bind(fd,ai->ai_addr,ai->ai_addrlen) < 0)
    err(EX_OSERR,"Cannot bind to socket");

  rc = 1;
  if (setsockopt(fd,SOL_SOCKET,SO_REUSEADDR,&rc,sizeof(rc)) < 0)
    err(EX_OSERR,"Cannot setup socket options");

  if (listen(fd,25) < 0)
    err(EX_OSERR,"Cannot setup listen length on socket");

  return fd;
}

static int create_epoll(void) {
  int fd;
  if ((fd = epoll_create1(0)) < 0)
    err(EX_OSERR,"Cannot create epoll");
  return fd;
}

static bool epoll_join(int epollfd,int fd,int events) { 
  struct epoll_event ev;
  ev.events = events;
  ev.data.fd = fd;

  if ((connections.numfds+1) >= connections.numevents) {
    connections.numevents+=1024;
    connections.events = realloc(connections.events,sizeof(connections.events)*connections.numevents);
    if (!connections.events)
      err(EX_OSERR,"Cannot allocate memory for events list");
  }

  if (epoll_ctl(epollfd,EPOLL_CTL_ADD,fd,&ev) < 0) {
    warn("Cannot add socket to epoll set");
    return false;
  }

  connections.numfds++;
  return true;
}

static void epoll_leave(int epollfd,int fd) {
  if (epoll_ctl(epollfd,EPOLL_CTL_DEL,NULL) < 0)
    err(EX_OSERR,"Could not remove entry from epoll set");

  connections.numfds--;
}


static void cleanup_old_events(void) {
  if ((connections.numevents - 1024) > connections.numfds) {
    connections.numevents -= 1024;
    connections.events = realloc(connections.events,sizeof(connections.events)*connections.numevents);
  }
}


static void disconnect(int fd) {
  shutdown(fd,SHUT_RDWR);
  close(fd);
  return;
}

static bool read_and_reply(int fd) {
  char buf[128];
  int rc;
  memset(buf,sizeof(buf));

  if ((rc = recv(fd,buf,sizeof(buf),0)) <= 0) {
    rc ? warn("Cannot read from socket") : 1;
    return false;
  }

  if (send(fd,rc,MSG_NOSIGNAL) < 0) {
    warn("Cannot send to socket");
    return false;
  }

  return true;
}

int main()
{
  int srv = create_srv_socket("8558");
  int ep = create_epoll();
  int rc = -1;
  struct epoll_event *ev = NULL;

  if (!epoll_join(ep,srv,EPOLLIN)) 
    err(EX_OSERR,"Server cannot join epollfd");

  while (1) {
    int i,cli;

    rc = epoll_wait(ep,connections.events,connections.numfds,-1);
    if (rc < 0 && errno == EINTR)
      continue;
    else if (rc < 0)
      err(EX_OSERR,"Cannot properly perform epoll wait");

    for (i=0; i < rc; i++) {
      ev = &connections.events[i];

      if (ev->data.fd != srv) {

        if (ev->events & EPOLLIN) {
          if (!read_and_reply(ev->data.fd)) {
            epoll_leave(ep,ev->data.fd);
            disconnect(ev->data.fd);
          }
        } 

        if (ev->events & EPOLLERR || ev->events & EPOLLHUP) {
          if (ev->events & EPOLLERR)
            warn("Error in in fd: %d",ev->data.fd);
          else
            warn("Closing disconnected fd: %d",ev->data.fd);

          epoll_leave(ep,ev->data.fd);
          disconnect(ev->data.fd);
        }

      }
      else {

        if (ev->events & EPOLLIN) {
          if ((cli = accept(srv,NULL,0)) < 0) {
            warn("Could not add socket");
            continue;
          }

          epoll_join(ep,cli,EPOLLIN);
        }

        if (ev->events & EPOLLERR || ev->events & EPOLLHUP)
          err(EX_OSERR,"Server FD has failed",ev->data.fd);

      }
    }

    cleanup_old_events();
  }

}

这是客户：

from socket import *
import time
scks = list()

for i in range(0,3000):
  s = socket(AF_INET,SOCK_STREAM)
  s.connect(("localhost",8558))
  scks.append(s)

time.sleep(600)

在本地计算机上运行时,我使用端口8558(1个侦听,3000个客户端插槽和3000个服务器端套接字)获得6001个套接字.

$ss -ant | grep 8558 | wc -l
6001

检查客户端连接的IP连接数量时,我得到3000.

# lsof -p$(pgrep python) | grep IPv4 | wc -l
3000

我也尝试在远程机器上使用服务器进行测试,但也取得了成功.

我建议你尝试做同样的事情.

另外,请尝试完全关闭iptables,以防它的某些连接跟踪怪癖.
有时/ proc中的iptables选项也可以提供帮助.所以请尝试使用sysctl -w net.netfilter.nf_conntrack_tcp_be_liberal = 1.

编辑：我已经完成了另一项测试,它会产生您在旁边看到的输出.您的问题是您正在抢先关闭服务器端的连接.

我可以复制类似于您所看到的执行以下操作的结果：

>将一些数据读入我的服务器后,调用shutdown(fd,SHUT_RD).
>在服务器上发送(fd,sizeof(buf)).

执行此操作后,可以看到以下行为.

>在客户端,我使用ESTABLISHED在netstat / ss中打开3000个连接.
>在lsof输出中,我得到2880(我正在关机的性质)建立的连接.
>其余的连接lsof -i：8558 | grep -v ES在CLOSE_WAIT中.

这只发生在半关闭连接上.

因此我怀疑这是您的客户端或服务器程序中的错误.您正在向服务器所对的服务器发送内容,或者服务器因某种原因无效关闭连接.

您需要确认“异常”连接的状态(如close_wait或其他).

在这个阶段,我也认为这是一个编程问题,而不是属于serverfault的东西.在没有看到客户端/服务器的源的相关部分的情况下,任何人都无法追踪故障原因.尽管我非常有信心这与操作系统处理连接的方式无关.