RAM 10GB, CPU 1코어 에서 웹 서버 1,500만 개를 실행하기 위해, 개별 프로세스 대신 단일 프로세스의 맞춤형 런타임에 서버를 넣고 네트워크 스택을 사용자 공간으로 옮김
주소 부족은 AnyIP 로 서브넷 전체를 수신 대상으로 삼아 해결하지만, 서버마다 프로세스를 실행하면 메모리가 약 20TB 필요해 실행 구조도 바꿔야 함
게스트 실행 상태는 16바이트 까지 줄일 수 있었지만, Linux 소켓은 활동 여부와 무관하게 약 3,300바이트를 할당하므로 커널 네트워크 스택이 메모리 병목으로 남음
smoltcp 실험에서는 유휴 서버당 620바이트, 활성 서버당 약 1KB로 서버 1,600만 개까지 실행한 반면, 커널 네트워크 스택은 약 250만 개에서 RAM을 소진함
입출력 방식별 벤치마크에서는 DPDK 가 가장 앞서고 AF_XDP가 근접했지만, 개념 증명과 100% POSIX 호환 Linux 런타임 구현 사이에는 상당한 작업이 남아 있음
최소 웹 서버와 주소 공간의 한계
목표는 RAM 10GB, CPU 1코어의 VM 에서 웹 서버 1,500만 개를 실행하는 것임
C로 만든 최소 서버는 listen
, accept
, recv
, send
, close
를 반복하며 모든 요청에 HTTP 200 OK 와 본문 OK
를 반환함
이 구현의 처리량은 약 초당 6만 5,000건 임
포트 0
을 사용해 커널이 가용 포트를 고르게 하자, 2만 8,232개 실행 뒤 listen
이 실패함
자동 할당 범위인 ip_local_port_range
의 기본값은 32768–60999
였음
포트 0
은 특별 취급되며, 수신이 불가능하다는 일반적 이해의 예외는 포트 0 관련 글 에서 확인할 수 있음
낮은 포트는 루트 권한 제약이 있고, 1024–32768
구간은 자동 할당 포트가 기존 애플리케이션과 충돌하지 않도록 제외됨
60999–65535
구간 제외에는 IP Masquerading과 관련한 역사적 이유가 있음
범위를 1–65535
로 늘려도 TCP 포트가 u16
이므로 1,500만 개에는 부족함
커널의 포트 자료형만 바꾸면 일반 클라이언트가 연결할 수 없음
수신 서버는 (프로토콜, IP, 포트)
로 구분되므로 TCP와 UDP는 같은 포트를 쓸 수 있고, IP가 다르면 같은 프로토콜과 포트도 재사용할 수 있음
프록시를 통한 가상 호스팅이나 약 450개의 네트워크 카드 대신, 소프트웨어로 여러 IP를 활용하는 방식을 택함
AnyIP로 주소를 확보해도 프로세스 비용은 남음
AnyIP 는 서브넷 전체를 로컬 수신 주소로 사용할 수 있게 함
예시 명령은 sudo ip -6 route add local 2001:db8:1234:5678::/64 dev lo
임
IPv6 /64
는 약 1,800경 개의 주소 를 제공하며, VPS와 전용 서버 제공업체 중에는 IPv6 서브넷 전체를 제공하는 곳이 많음
IPv4에도 적용할 수 있지만, 주소 1,500만 개를 확보하는 비용은 약 2억 5,000만 달러로 잡음
서버가 명령행 인덱스에 따라 기준 IP에서 서로 다른 주소를 선택하게 해도, 대량 실행은 메모리 부족 으로 실패함
서버 프로세스 하나가 약 1.5MB 를 소비하므로 전체에는 약 20TB가 필요함
단일 프로세스 런타임과 최소 게스트 상태
수백만 개의 프로세스를 만드는 대신 맞춤형 런타임 하나에 모든 게스트를 적재 하고, 사용자 공간 스케줄러가 실행 대상을 전환함
샌드박싱에는 LFI 를 사용함
게스트 메모리를 격리하고 모든 시스템 호출을 호스트 처리기 호출로 대체하므로, 런타임이 입출력을 직접 구현할 수 있음
초기화를 제외하고 주 실행 루프 안에서만 전환한다고 가정하면, 게스트마다 복귀 명령 주소와 파일 디스크립터 2개 만 저장하면 됨
pc: u64
, fd_server: i32
, fd_client: i32
로 총 16바이트 이며, 1,500만 게스트의 상태는 약 220MB임
비트 패킹을 적용하면 게스트당 8바이트까지 줄일 가능성도 있음
초기 계산은 LLM의 답변을 받아들여 유휴 연결은 0바이트, 활성 연결은 약 5KB 라고 가정했으나 검증에 실패함
유휴 1,400만 개, 활성 100만 개와 스케줄링 상태를 합쳐 약 5.22GB로 예상했음
실제로 유휴 수신 소켓만 생성해도 메모리가 부족했으며, LLM 답변을 비판 없이 수용한 것이 잘못된 계산의 출발점이었음
Linux 소켓 메모리와 사용자 공간 TCP/IP
빠뜨린 비용은 socket
시스템 호출 자체의 할당량 임
소켓이 활성 상태이거나 수신 대기 중이거나 아무 일도 하지 않아도 약 3,300바이트 가 필요함
구조체별 크기는 tcp_sock
2,240바이트, socket_alloc
768바이트, file
184바이트, dentry
192바이트로 합계 3,384바이트임
TCP 상태, 큐, 타이머, 혼잡 제어, 재전송 정보뿐 아니라 파일과 inode, VFS 관리 정보에도 메모리가 쓰임
해결책은 HTTP와 TCP보다 낮은 IP 패킷 또는 Ethernet 프레임 수준에서 데이터를 주고받고, TCP/IP 스택을 직접 제공하는 것임
HTTP 데이터는 TCP, IP, Ethernet 계층에 차례로 캡슐화되므로, 하위 계층을 통해 직접 만든 패킷을 전달할 수 있음
임베디드 환경에는 이미 작은 TCP/IP 구현이 존재함
Miniweb : 맞춤형 TCP/IP와 HTTP 서버를 합쳐 28바이트 로 동작하는 극단적 사례임
gVisor : 네트워크 스택을 포함해 운영체제 기능을 폭넓게 재구현함
Seastar : ScyllaDB 팀의 자체 네트워크 스택을 갖춘 런타임임
lwIP : 널리 쓰이는 C 기반 TCP/IP 구현임
F-Stack : FreeBSD의 TCP/IP 스택을 사용함
이번 구현은 Rust 기반 smoltcp 를 선택함
베어메탈 실시간 시스템을 위한 독립형 이벤트 기반 TCP/IP 스택으로, 힙 할당 없이도 사용할 수 있음
자체 입출력 기능은 없으므로 네트워크 장치와 연결할 어댑터가 필요함
TUN/TAP, DPDK, AF_XDP의 입출력 방식
TUN과 TAP 은 커널이 제공하는 가상 네트워크 인터페이스이며, smoltcp가 기본 지원함
TUN은 IP 계층에서, TAP은 한 단계 아래인 Ethernet 계층에서 동작함
기본 루프는 인터페이스를 폴링하고, 다음 처리 시점이나 파일 디스크립터 이벤트를 기다리는 구조임
DPDK 는 커널 네트워크 스택을 완전히 우회해 네트워크 카드와 Ethernet 프레임을 직접 주고받음
메모리 매핑 버퍼를 읽고 쓰므로 입출력 시스템 호출이 필요하지 않음
반면 시스템 호출에는 약 500ns, 커널에서 사용자 공간으로의 복사에는 버퍼 크기에 따라 추가 1,000ns가 들 수 있음
비교 대상으로 든 400Gbps 인터페이스는 최대 초당 6억 패킷, 패킷당 약 1.7ns의 처리 간격에 해당함
DPDK는 패킷 도착마다 애플리케이션을 중단시키는 인터럽트와 과도한 인터럽트에 따른 라이브락(livelock) 을 피하지만, 대가가 있음
송수신을 지속적으로 확인하는 바쁜 대기 루프로 CPU 코어 하나를 점유 함
하드웨어 수준 드라이버가 장치를 독점하므로 해당 인터페이스가 운영체제에서 사라짐
SSH에 사용 중인 인터페이스를 전환하면 SSH 접속도 끊김
AF_XDP 도 메모리 매핑 버퍼를 통한 제로카피 입출력과 네트워크 스택 우회를 지원하지만, 장치는 커널이 계속 소유함
기본적으로 인터럽트는 유지되며, eBPF 필터가 패킷을 사용자 공간 버퍼로 보낼지 일반 네트워크 스택에서 처리할지 결정함
일반 트래픽은 기존 경로로 처리할 수 있어 SSH 연결을 유지할 수 있음
SO_PREFER_BUSY_POLL
모드는 CPU 코어를 쓰는 대신 인터럽트 없이 바쁜 대기로 처리해 DPDK에 더 가까워짐
완전히 커널을 우회하는 DPDK보다 성능은 뒤처지지만, 차이가 작고 관리가 더 쉬움
smoltcp와 연결하려면 Device 트레이트 의 메서드 3개를 구현하면 됨
최종 실행 흐름과 측정 결과
런타임은 게스트 1,500만 개 를 메모리에 적재하고 차례로 실행함
게스트 시스템 호출을 가로채 smoltcp와 입출력 어댑터로 대체함
각 게스트는 고유한 주소에서 수신 대기함
스케줄러는 어댑터의 수신 데이터를 폴링하고, 해당 게스트를 깨워 처리시킨 뒤 다음 게스트로 전환함
커널 네트워크 스택 은 서버 약 250만 개에서 RAM을 소진했고, 서버 수가 늘어날수록 초당 요청 처리량도 감소함
smoltcp 에서는 유휴 서버당 620바이트, 활성 서버당 약 1KB를 사용해 서버 1,600만 개까지 실행함
입출력 방식 비교에서는 DPDK가 가장 좋은 성능을 보였으며 AF_XDP가 그 뒤를 가까이 따름
네트워크 스택을 사용자 공간으로 옮기면 메모리 사용량을 직접 제어 하고 성능을 개선할 수 있으며, 맞춤형 런타임으로 게스트 실행도 가속할 수 있음
다만 이번 결과는 개념 증명 이며, 호환 가능한 Linux 런타임과 모든 시스템 호출의 100% POSIX 호환 구현은 별도의 과제로 남음
구현과 참고 자료
댓글과 토론