SemaTune: 대규모 언어 모델(LLM)을 이용한 의미론적 인지 기반 온라인 OS 튜닝

온라인 OS 튜닝은 장기 실행되는 서비스의 성능을 향상시킬 수 있지만, 기존의 컨트롤러(controllers)들은 실제 호스트(live hosts) 환경에 제대로 맞지 않습니다. 기존 방식들은 스케줄러(scheduler), 전력(power), 메모리(memory), 그리고 I/O 제어 항목들을 블랙박스(black-box) 변수로 취급하며 스칼라 보상(scalar reward)을 최적화합니다. 이러한 관점은 노브 간의 정책 구조(cross-knob policy structure)를 무시하고, 애플리케이션 메트릭(application metrics)을 사용할 수 없는 상황에서는 작동이 중단되며, 실행 중인 서비스를 잘못된 설정이 제거된 후에도 지속되는 성능 저하 영역(degraded regions)으로 몰아넣을 수 있습니다.

우리는 제한된 언어 모델(language-model) 가이드를 활용하여 정상 상태(steady-state) OS 튜닝을 수행하는 호스트 측 프레임워크인 SemaTune을 제안합니다. SemaTune은 노브 스키마(knob schemas), 텔레메트리(telemetry), 현재 설정(current configuration), 최근의 액션-응답 이력(recent action--response history), 그리고 검색된 이전 실행 기록(retrieved prior runs)을 압축된 결정 컨텍스트(decision context)로 변환합니다. 빠른 루프(fast loop)는 저지연 업데이트를 제안하고, 느린 루프(slower loop)는 주기적으로 탐색 전략을 수정하며, 제안된 모든 변경 사항은 커널(kernel) 또는 sysctl 인터페이스에 도달하기 전에 타입 검증(typed validation)을 거칩니다. 이를 통해 컨트롤러는 모델 비용, 지연 시간(latency), 권한을 제한하면서도 OS 제어의 의미와 간접적인 성능 신호에 대해 추론할 수 있습니다.

우리는 최대 41개의 Linux 파라미터(parameters)를 튜닝하며 5개의 벤치마크 제품군에서 추출한 13개의 실제 워크로드(workloads)를 통해 SemaTune을 평가했습니다. 전체 제품군에 걸쳐 SemaTune은 기본 설정 대비 안정 단계(stable-phase) 성능을 72.5% 향상시켰으며, 가장 강력한 비-LLM(non-LLM) 베이스라인 대비 153.3% 향상시켰습니다. 30-윈도우(30-window) 세션의 모델 호출 비용은 약 $0.20입니다. 호스트 수준의 메트릭(host-level metrics)만 사용하더라도, SemaTune은 구조를 고려하지 않는 탐색(structure-blind exploration)이 도달하는 심각한 성능 저하 영역을 피하면서, 직접적인 애플리케이션 목표를 가진 베이스라인보다 93.7%포인트 더 높은 성능을 기록했습니다.