비즈니스 중심 LLM 시스템을 위한 수락 테스트 주도 평가 프로토콜

대규모 언어 모델 (LLM) 애플리케이션은 확률론적 생성 구성 요소에 의존하면서도, 결정론적인 기관 요구 사항을 충족해야 한다는 기대가 점점 커지고 있습니다. 이러한 불일치로 인해 안전하고, 신뢰할 수 있으며, 감사 가능하고, 경제적으로 유용한 시스템을 구축해야 하는 경우 일반적인 사후 벤치마킹 (post-hoc benchmarking)만으로는 불충분합니다. 본 논문은 수락 테스트 주도 개발 (Acceptance-Test-Driven Development, ATDD), 안전 공학 (Safety Engineering), 그리고 비즈니스 중심 검증 (Business-Centric Validation)에 기반한 운영 LLM 시스템을 위한 평가 프로토콜 확장을 제안합니다. 이 확장은 프롬프트 (Prompt), 모델 (Model), 검색 (Retrieval) 또는 에이전트 (Agent) 변경 사항이 수용되기 전에 이해관계자의 목표를 실행 가능한 행동 계약 (Behavioral Contracts), 릴리스 게이트 (Release Gates), 모니터링 신호 (Monitoring Signals) 및 증거 아티팩트 (Evidence Artifacts)로 변환합니다. 이는 테스트 주도 개발 (Test-Driven Development, TDD)의 red-green-refactor 규율을 red-train-green 라이프사이클로 변형합니다. 즉, 먼저 원하는 동작에 대해 실패하는 수락 테스트를 정의한 다음, 프롬프트 변경, 검색 설계, 미세 조정 (Fine-tuning), 가드레일 (Guardrails) 또는 데이터 증강 (Data Augmentation)을 통해 LLM 시스템을 개선하고, 마지막으로 다차원적인 게이트가 충족되었을 때만 릴리스합니다. 본 연구의 기여는 거버넌스 지향적인 메트릭 스택 (Metric Stack), 참조 아키텍처 (Reference Architecture), 그리고 수락 테스트 주도 LLM 개발을 프롬프트 우선 (Prompt-first) 및 벤치마크 사후 (Benchmark-after) 워크플로우와 비교하기 위한 실증적 프로토콜을 제공하는 것입니다.