누락된 중간 단계: 에이전트 스킬은 프롬프트뿐만 아니라 패키지 매니저가 필요하다

[Hacktoberfest Weekend Challenge: Build for a Friend]에 제출하는 글입니다.

월요일 아침, CI(지속적 통합)가 빨간불을 켜고 자동화 테스트가 실패합니다. 당황하거나 컴파일러 마법의 탓으로 돌리지 않습니다. 대신 git diff를 열어 package-lock.json이나 Cargo.lock 파일을 확인합니다. 무엇이 변경되었는지, 무엇이 고장 났는지, 그리고 왜 그런지 정확한 커밋 해시(commit hash) 단위로 알고 있습니다.

그렇다면 우리가 AI 에이전트를 구축하기 시작하는 순간에 왜 이렇게 완전한 혼돈을 받아들이는 걸까요?

지난 한 해 동안 우리는 프롬프트 파일(SKILL.md) 작성에서 NVIDIA의 AEVAL과 같은 자동화된 CI 평가 실행까지 건너뛰어 왔습니다. 하지만 평가 테스트가 실패할 때마다, 우리는 한숨을 쉬고 손을 내저으며 "예측 불가능한 AI 변동(flukes)"이나 "모델 드리프트(model drift)" 탓을 합니다.

하지만 이것이 정말 모델의 일시적인 오류일까요? 아니면 발밑에서 고정되지 않은 하위 종속성(unpinned sub-dependency)이 이동한 것일까요? 잠금 파일(lockfile) 없이는 도저히 알 수 없습니다.

현재 툴링에서의 잠금 파일의 환상 (The Illusion of Lockfiles in Current Tooling)

"잠깐, 이미 스킬 전용 잠금 파일(skills lockfiles)이 존재하지 않나요?"라고 생각할 수도 있습니다.

네, 일부 실험적인 에이전트 하네스(agent harnesses)는 현재 skills-lock.json을 생성하거나 SKILL.md의 프런트매터(frontmatter)를 구문 분석합니다. 하지만 기존 도구들은 잠금 파일을 **능동적인 종속성 소유자(active dependency owners)**라기보다는 디스크에 있는 수동적인 재고 목록으로 취급합니다. 이들은 전이적 하위 종속성(transitive sub-dependencies)을 추적하지 못하고, 환경 역량 계약(environment capability contracts)을 검증하지 못하며, 런타임 프롬프트 컨텍스트 이름과 콘텐츠 주소 지정된 패키지 해시(content-addressed package hashes)를 연결해주지도 않습니다.

현재 도구들이 공급망(supply chain)의 소유자가 아니기 때문에, 에이전트 디버깅은 여전히 추측 게임에 머물러 있습니다:

• 프롬프트 컨텍스트 내의 단순 스킬 이름이 지난주와 다른 파일 버전으로 해석된 것은 아닐까?
• 실행 환경에서 역량 계약(capability contract)이 누락되었던 것은 아닐까?
• 기록되지 않은 하위 종속성이 변경된 것은 아닐까?

우리는 평가가 특권적인 에이전트에 대한 제어력을 제공하기를 원합니다. 하지만 진정한 제어력을 확보하려면 두 가지가 필요합니다:

1. 재현성(Reproducibility) — 모든 CI 노드와 머신에서 정확히 동일한 비트(bits)를 실행하는 것 (이를 위해서는 **패키지 매니저 및 잠금 파일(Package Manager & Lockfile)**이 필요합니다).
2. 추적 가능한 실패(Attributable Failures) — 어떤 버전의 입력이 테스트를 깨뜨렸는지 정확히 아는 것 (이를 위해서는 **종속성 그래프(Dependency Graph)**가 필요합니다).

두 개의 그래프, 하나의 연결고리

핵심적인 아키텍처 혼란은 완전히 다른 두 가지 작업을 혼합하는 데서 발생합니다:

┌─────────────────────────────────────────────────────────────┐
│                 종속성 그래프 (도구링)                  │
│   패키지 참조, 콘텐츠 해시 및 고정된 주소를 해결함  │
... 

1. 종속성 그래프 (도구링 계층): 실행 전에 개발자 CLI 도구링에 의해 오프라인으로 해결됩니다. 버전 제약 조건, 콘텐츠 해시, 패키지 매니페스트를 처리하며, 모든 것을 skills-lock.json 파일에 고정합니다. 모델은 이 그래프를 절대 볼 수 없습니다. 이는 불변의 **패키지 주소(package addresses)**로 다룹니다.
2. 컨텍스트 그래프 (LLM 계층): 런타임에 LLM에 의해 동적으로 해결됩니다. 에이전트는 스킬 메타데이터를 읽고 지침을 프롬프트 컨텍스트 창에 로드합니다. 이는 순수한 스킬 **이름(names)**으로 다룹니다.

이 둘을 연결하는 것이 바로 **브릿지(Bridge)**입니다. allergen-screening이라는 이름의 스킬이 컨텍스트에 로드될 때, 브릿지는 이 순수한 이름이 skills-lock.json에 고정된 불변 콘텐츠 해시와 직접 매핑되는지 확인합니다.

보안 및 추적성 추가 이점

프롬프트 이름을 콘텐츠 해시에 연결하는 것은 두 가지 역할을 수행합니다:

• 출처 명시 및 영향 범위 (Attribution & Blast Radius): 테스트가 실패하면, 브릿지(bridge)는 로드된 컨텍스트 이름을 고정 해시(pinned hashes)로 역변환하고 의존성 그래프(dependency graph)에 대해 역 도달 가능성 분석(reverse reachability)을 실행합니다. 모호한 'AI 오류' 대신, 영향을 받는 모든 모듈과 종속 스킬을 보여주는 정확한 **노드 단위 영향 범위 (node-precise blast radius)**를 얻게 됩니다.
• 프롬프트 주입 방어 (Prompt Injection Defense): 간접적인 프롬프트 주입이 에이전트를 검증되지 않은 스킬 이름 호출이나 기존 스킬 위장(spoofing)을 시도하는 경우, 브릿지는 강력한 경계 역할을 합니다. 요청된 스킬 이름이 skills-lock.json에 고정되어 있지 않거나 디스크 상의 내용 해시가 변조된 경우, 검증은 즉시 실패합니다.

모델 비종속적 제어 (Model-Agnostic Control)

모델은 표류(drift)합니다. 이는 폐쇄형 모델의 예고 없는 API 업데이트를 통해서든, 개방 가중치 미세 조정(open-weight fine-tunes) 및 양자화(quantizations) 전반에 걸친 변화를 통해서든 발생할 수 있습니다. 만약 에이전트의 안전성이 전적으로 모델 가중치 내부의 프롬프트 순응도에 의존한다면, 매 실행은 도박과 같습니다.

명시적이고 버전 관리되는 의존성 그래프(dependency graph)와 내용 주소 지정 잠금 파일(content-addressed lockfile)을 기반으로 거버넌스를 이동함으로써, 안전성은 **모델 독립적인 불변량 (model-independent invariant)**이 됩니다.

요청을 상용 API 엔드포인트, 호스팅 제공업체, 또는 로컬 개방 가중치 모델로 라우팅하든 상관없이, 보장은 그래프 인프라에 고정됩니다. LLM은 마땅히 그래야 할 대로 취급됩니다: 교체 가능한 추론 엔진(interchangeable reasoning engine)입니다.

우리가 구축한 것과 다음 계획 (What We Built & What's Next)

우리는 오픈 소스 연구 샌드박스로 작동하는 프로토타입을 구축했으며, skills CLI를 패치하여 에이전트 평가 파이프라인에 패키지 매니저 의미론(package manager semantics)을 도입하고, 여기에 완전한 관찰 가능성(observability) 및 실행 기능을 추가했습니다.

• Repository: TheLazzziest/research
• 도구 사용해 보기 (Try the Tooling):
  • bun run skills:lock — 콘텐츠 주소 지정 가능한(content-addressable) skills-lock.json을 생성합니다.
  • bun run skills:verify — 로컬에 보관된 스킬들을 락파일과 비교하여 검증합니다.
  • bun run skills:graph — 할당 가능한(attributable) 스킬 의존성 그래프를 렌더링합니다.
  • bun run skills:lint — 프론트매터(frontmatter), 매니페스트(manifests), 브릿지 제약 조건(bridge constraints)을 검증합니다.
• 풀스택 및 관측 가능성 (Full Stack & Observability): Sentry의 gen_ai 스팬/지연 시간 추적, ElevenLabs 음성 내레이션 (TtsPort 어댑터), Gemma 오픈 웨이트 모델 프리셋, 그리고 Render 배포 서비스 청사진 (render.yaml)으로 구성된 계측 에이전트 데코레이터입니다.

구현에 대한 솔직한 고찰 (An Honest Note on Implementation): 오늘날 우리의 도구는 CI 및 평가 파이프라인을 위해 이 브릿지(bridge)를 오프라인으로 강제하여, 테스트 세션이 비트 단위로 재현 가능하고 코드가 프로덕션에 들어가기 전에 실패 원인 규명이 작동하도록 만듭니다. 이 브릿지를 활성 런타임 가드레일(active runtime guardrail)로 LLM 디스패치 경계(LLM dispatch boundary)까지 확장하는 것이 다음 개척 분야이지만, 패키지 관리를 평가에 적용함으로써 오늘날 결정론적 제어(deterministic control)를 얻을 수 있습니다.

핀 고정되지 않은 의존성 때문에 모델의 변덕 탓을 하는 것을 멈추세요. 아래 댓글에서 여러분의 생각을 알려주세요!

참고 자료 및 관련 읽기 (References & Related Reading)

1. AEVAL: NVIDIA Research, AEVAL: 에이전트 스킬을 위한 변경 감지 결정론적 CI, arXiv:2607.16345 (2026년 7월).
2. 에이전트 스킬 공급망 (Agent Skill Supply Chains): Skills Are Not Islands: 에이전트 스킬 공급망에서 의존성 및 위험 측정, arXiv:2607.01136 (2026년 7월).
3. 형식적 스킬 분석 (Formal Skill Analysis): 에이전틱 AI 스킬을 위한 형식 분석 및 공급망 보안, arXiv:2603.00195 (2026년 3월).
4. Harness 보안: Harness 스캔: AI 코딩 에이전트 구성의 공급망 결함에 대한 경험적 연구, arXiv:2609.07360 (2026년 9월).
5. 운영 SKILL.md: SKILL.md 내부 작동 방식: AI 에이전트 스킬 레지스트리에 대한 의미론적 공급망 공격, arXiv:2605.11418 (2026년 5월).

수상 부문

• Backboard 활용 최우수 사례 (SDK 어댑터를 통한 오픈 웨이트 제공업체 간 모델 라우팅)
• GitHub Copilot 활용 최우수 사례 (CLI 패치 시리즈 및 에이전트 하네스 개발)
• Gemma 활용 최우수 사례 (Gemma 3 27B를 포함한 오픈 웨이트 모델 프리셋)
• Sentry Agent Tracing 활용 최우수 사례 (gen_ai 스팬 및 지연 시간 측정 항목을 사용한 계측 에이전트 데코레이터)
• ElevenLabs 활용 최우수 사례 (TtsPort 어댑터 및 /api/tts 엔드포인트를 사용한 음성 내레이션)
• Render 활용 최우수 사례 (render.yaml을 통한 배포 서비스 청사진)