LLM을 '그냥 또 하나의 서비스'로 운영하는 것은 스크립트 레벨에서 한계에 도달합니다

LLM을 '그냥 또 하나의 서비스'처럼 운영하는 방식은 스크립트 수준에서 끝납니다. 이 경우 버전 드리프트(version drift), 비밀 정보 확산(secret sprawl), 그리고 취약한 개발 루프(fragile dev-loop)에 빠르게 직면하게 됩니다. Docker Agent는 AI 에이전트를 컨테이너와 정확히 동일하게 취급합니다: 선언적 YAML, OCI 레지스트리 아티팩트, 서명된 샌드박스 런타임입니다.

일반적인 '스크립트 + API 키' 모델이 실패하는 이유: 코드베이스가 임시 도구 연결(ad-hoc tool glue)로 부풀어 오르고, 환경이 단일 워크스테이션에 종속되며, 공유는 README만 존재하는 활동이 됩니다.

핵심 요약

• YAML (또는 HCL)은 모델, 프롬프트, 도구 세트를 하나의 변경 가능한 파일(diff-able file)로 정의하며, docker agent run agent.yaml 명령어로 실행됩니다.

• 제공업체에 구애받지 않는 모델 선택 – 필드 하나만 변경하여 OpenAI, Anthropic 또는 로컬 Docker Model Runner를 교체할 수 있습니다. 에이전트별로 빠르고 저렴한 모델을 혼합하여 사용할 수 있습니다.

• 도구는 OCI 레지스트리(예: docker:duckduckgo)에서 가져오는 1급 MCP 리소스입니다. 이를 통해 사용자 지정 SDK 래퍼가 제거됩니다.

• 샌드박스 모드는 에이전트를 기본 거부 네트워킹(default-deny networking)을 가진 격리된 VM 내부에서 실행하여 LLM에게 안전한 '쉘'을 제공합니다.

이 패턴은 AI 에이전트를 불변하고 버전 관리되는 아티팩트로 취급하는 것이 재현성 악몽(reproducibility nightmare)을 해결하고 멀티 에이전트 시스템에 DevOps의 엄격함을 가져온다는 것을 보여줍니다.

— Shobit Singh, “Run AI Agents Like Containers: A Deep Dive into Docker Agent”
https://t.co/mWZ1craENv

#MCP #DevOps #AIEngineering