- 작업 난이도에 따라 모델을 분배하는 'AI 라우터'를 사용하여 API 비용 절감
- 개선안 반영 전, 여러 AI 에이전트의 합의제 리뷰(Consensus Review)를 거침
- 전략별 성공률을 베이즈 추정(Bayesian Estimation)으로 추적하고, 성능 저하 시 자동으로 전략을 전환함
대창사에서 AI 공동 창작 메커니즘을 운영하며 갖추게 된 설계를 생각하는 관점 위주로 소개합니다.
오케스트레이터(Orchestrator)는 단순한 태스크 러너가 아닙니다. 현재의 지표를 바탕으로 '지금 무엇을 해야 하는지'를 판단하고, 개선안 생성, 심사, 검증, 적용까지를 하나의 사이클로 순환시킵니다.
class Orchestrator:
"""자율 개선 파이프라인을 관리하는 오케스트레이터"""
def __init__(self, config):
...
API 비용의 상당 부분은 '가벼운 작업에 무거운 모델을 사용하는 것'에서 발생합니다. 저희는 작업을 3단계로 나누어 처리하고 있습니다.
- 양산 단계 (초안 작성, 후보 생성): 경량화되고 빠른 모델
- 심사 단계 (문맥을 읽고 판단하는 과정): 충분히 깊이 있게 읽을 수 있는 모델
- 최종 확인: 사람 또는 가장 신뢰할 수 있는 모델
모든 과정을 최고 성능의 모델로 돌리는 것이 아니라, 공정별에 적절한 모델을 배치합니다. 이 것만으로도 품질 저하 없이 비용을 크게 낮출 수 있습니다.
전략(어떤 모델에게 어떻게 의존할지)별 성공과 실패를 카운트하고, 베타 분포(Beta distribution)로 성공률을 추정합니다. 성능이 떨어진 전략은 임계값 이하로 떨어지는 시점에 전환 후보가 됩니다.
class SuccessRateTracker:
"""베이즈 추정으로 태스크 성공률을 동적 예측
Beta 분포 Beta(alpha, beta)를 사전분포로 사용
...
시행 횟수가 적을 때는 급격한 변동 없이 안정적이며, 기록이 쌓일수록 실제 상황에 가까워지는 특성을 가집니다. 운영의 핵심적인 순간에 맞는 성질입니다.
비용 최적화만 고려한다면 라우터와 성공률 추적으로 충분합니다. 여기에 합의제 리뷰를 추가한 이유는, 자동화된 시스템일수록 '멈추게 하는 메커니즘'이 필요하기 때문입니다.
여러 에이전트가 일관성(consistency), 안전성(safety), 기술적 측면, 표현, 윤리 등의 관점에서 변경안을 상호 검토하며, 원칙에 위배되는 변경은 거부권으로 막습니다. 단순히 점수로 일률적으로 판단하는 것이 아니라, 의도와 문맥을 읽어냅니다. 이는 대창사가 교육 현장에서 지속해 온 '평가에서 감상으로'라는 사고방식을 시스템 설계 자체에 가져온 것입니다.
- 모델은 공정별로 분배 사용 (비용)
- 전략의 상태는 수치로 추적 (안정성)
- 반영 전에는 여러 시각으로 상호 검토 (품질과 안전)
베이즈 추정이 수치 뒤에 숨겨진 '경향'을 읽어낸다면, 합의 과정은 변경안 뒤에 숨겨진 '의도'를 읽어냅니다. 이 조합이야말로 시스템을 오랫동안 지속적으로 운영하기 위한 설계라고 생각합니다.
저자: 등대지기 MASATAKA | 대창사
대창사 공식 홈페이지: https://daisosha.com/
학습 감상 포트폴리오: https://learning-appreciation.daisosha.com/
