문제점: "Private" ≠ "Secure" 우리는 독점 코드와 내부 워크플로우를 보호하기 위해 Ollama 및 LocalLLMs와 같은 셀프 호스팅(self-hosted) AI 플랫폼으로 이동하고 있습니다. 하지만 여기 불편한 현실이 있습니다: 대부분의 로컬 AI 배포는 보안 쇼(security theater)에 불과합니다. 만약 당신의 스택이 다음과 같이 실행되고 있다면:

• 인증되지 않은 Redis 인스턴스
• 시스템 콜 격리(syscall isolation)가 없는 컨테이너
• 호스트 커널(host kernel)에서 직접 실행되는 AI 생성 코드

...그렇다면 당신의 인프라는 여전히 노출되어 있는 것입니다. 단 하나의 SSRF (Server-Side Request Forgery, 서버 측 요청 위조) 취약점만으로도 공격자에게 내부 서비스, 비밀 정보(secrets), 그리고 실행 환경에 대한 측면 이동(lateral access) 권한을 제공할 수 있습니다.

"강화(Hardening)"란 정확히 무엇인가?
현대적인 DevSecOps에서 강화(Hardening)란 보안에 취약한 기본 설정을 제거하고 엄격한 격리 정책을 강제함으로써 시스템의 공격 표면(attack surface)을 최소화하는 프로세스입니다. 우리는 "기본 설치(default install)"를 배포하는 대신, AI 스택의 모든 계층을 강화합니다.

강화 원칙

보안 계층	강화된 접근 방식
인증 (Authentication)	모든 내부 서비스에 대해 자격 증명 요구
격리 (Isolation)	gVisor를 사용하여 신뢰할 수 없는 워크로드의 샌드박스화
장애 처리 (Failure Handling)	Lua/OpenResty를 통한 우아한 성능 저하(graceful degradation) 보장
실행 제어 (Execution Control)	호스트 커널과의 직접적인 상호작용 방지
네트워크 보안 (Network Security)	불필요한 외부 통신 제한

iRexta 강화 아키텍처
우리의 iRexta 베어 메탈(Bare Metal) 인프라에서는 마케팅 용어에서 벗어나 진정한 제로 트러스트(Zero-Trust) AI 청사진을 구현합니다.

1. 인증된 Redis (SSRF 공격 차단)
   인프라 보안에서 가장 큰 오해 중 하나는 "localhost니까 안전하다"는 것입니다. 그렇지 않습니다. 인증 없이 노출된 내부 서비스는 가치가 높은 SSRF 공격 대상이 됩니다. 우리는 측면 이동(lateral movement)을 방지하기 위해 엄격한 Redis 비밀번호 인증을 강제합니다.

Redis를 안전하게 설치

sudo apt install redis-server -y

인증 활성화

sudo sed -i \ 's/# requirepass foobared/requirepass YOUR_COMPLEX_PASSWORD/' \ /etc/redis/redis.conf

Redis 재시작

sudo systemctl restart redis-server

이것이 중요한 이유

인증(authentication)이 없는 경우:

• 내부 API가 Redis에 직접 쿼리할 수 있음
• SSRF 취약점이 인프라 침해로 이어짐
• 세션 토큰(Session tokens) 및 캐시된 비밀 정보(cached secrets)가 노출됨

인증을 활성화하면, Redis를 내부적으로 악용하기가 훨씬 더 어려워집니다.

2. 탄력적인 Lua 접근 제어 (Resilient Lua Access Control)

우리는 고성능 요청 처리 및 보안 게이트웨이 강제를 위해 OpenResty + LuaJIT를 사용합니다. 백엔드 장애가 워커(worker)를 중단시키도록 방치하는 대신, Lua 기반 로직을 통해 우아한 장애 처리(graceful failure handling)를 보장합니다.

-- 고속, 오류 인지형 Redis 연결
local ok, err = redis:connect("127.0.0.1", 6379)
if not ok then
    ngx.log(ngx.ERR, "failed to connect to Redis: ", err)
    return ngx.exit(500)
end

Lua 기반 접근 로직의 이점

• 극도로 낮은 지연 시간(latency) 실행
• 우아한 장애 처리 (Graceful failure handling)
• 백엔드 중단 시 더 나은 탄력성(resilience)
• 부하 발생 시 워커 불안정성 감소

이 아키텍처는 인프라의 일부가 장애를 일으키는 중에도 AI 게이트웨이를 안정적으로 유지합니다.

3. gVisor: 궁극의 샌드박스 (The Ultimate Sandbox)

전통적인 Docker 컨테이너는 여전히 호스트 커널(host kernel)을 공유합니다. 이는 다음과 같은 것을 실행할 때 위험해질 수 있습니다:

• AI가 생성한 스크립트
• 신뢰할 수 없는 자동화
• 동적으로 생성된 코드

이를 해결하기 위해, 우리는 runsc 런타임을 사용하여 gVisor를 배포합니다. gVisor는 시스템 호출(system calls)을 가로채고 워크로드를 전용 사용자 공간 커널 경계(user-space kernel boundary) 뒤에 배치합니다.

gVisor 내부에서 신뢰할 수 없는 AI 코드 실행

docker run --rm
--runtime = runsc
--network = none
-v /tmp/ai_eval:/workspace
node:20
node /workspace/script.js

왜 gVisor가 중요한가

특징	Standard Docker	gVisor
Sandbox	호스트 커널 공유 (Shares host kernel)	사용자 공간 커널 격리 (User-space kernel isolation)
공격 표면	더 넓은 공격 표면 (Larger attack surface)	시스템 호출 노출 감소 (Reduced syscall exposure)
탈출 위험	높은 탈출 위험 (Higher breakout risk)	강화된 실행 경계 (Hardened execution boundary)
런타임 필터링	최소한의 런타임 필터링 (Minimal runtime filtering)	심층 시스템 호출 가로채기 (Deep syscall interception)

AI가 생성한 코드를 실행할 때, 이러한 격리 계층 (isolation layer)은 매우 중요합니다.

이중 모델 성능 전략 (Dual-Model Performance Strategy)

보안이 성능을 희생시키며 이루어져서는 안 됩니다. 과부하가 걸린 단일 모델에 의존하는 대신, 워크로드 (workload)를 전문화된 모델들로 분리합니다.

모델	책임 (Responsibility)
Qwen 2.5 Coder	초고속 자동 완성 및 인라인 제안 (Ultra-fast autocomplete and inline suggestions)
DeepSeek Coder V2	복잡한 추론, 아키텍처 및 채팅 워크플로 (Complex reasoning, architecture, and chat workflows)

이러한 이중 모델 접근 방식은 다음을 개선합니다:

• 지연 시간 (Latency)
• 리소스 할당 (Resource allocation)
• 컨텍스트 품질 (Context quality)
• 대화형 코딩 성능 (Interactive coding performance)

마치며 (Final Thoughts)

자체 호스팅되는 AI 스택은 내부 서비스 중 가장 취약한 서비스만큼만 안전합니다. 다음과 같은 요소 없이 AI를 로컬에서 실행하는 것은:

• 인증된 내부 서비스 (Authenticated internal services)
• 샌드박스 실행 (Sandboxed execution)
• 장애 인지 게이트웨이 (Failure-aware gateways)
• 네트워크 격리 (Network isolation)

...이는 프라이빗 인프라를 구축하는 것이 아닙니다. 단순히 더 넓은 공격 표면을 만들 뿐입니다. 인증된 Redis, 탄력적인 Lua 접근 제어, 그리고 iRexta Bare Metal 상의 gVisor 샌드박싱을 통합함으로써, 여러분은 취미 수준의 배포에서 진정한 DevSecOps 등급의 AI 플랫폼으로 나아갈 수 있습니다. "보안 연극 (security theater)"을 중단하십시오. 실제로 강화된 인프라를 구축하십시오.