대화형 AI (Conversational AI) 시스템은 이제 고객 지원, 내부 연구 에이전트, 그리고 자율 코딩 어시스턴트를 구동하고 있습니다. 프로덕션 배포 (production deployment)를 위해서는 멀티 턴 컨텍스트 (multi-turn context), 도구 실행 (tool execution), 스트리밍 지연 시간 (streaming latency), 그리고 사용량에 따라 확장되는 비용 제어 (cost controls)를 관리해야 합니다. 만약 귀하의 인프라가 토큰 (token)당 비용을 청구한다면, 긴 대화와 문서 중심의 프롬프트 (prompts)는 예산을 빠르게 초과할 수 있습니다. 이 가이드는 프로토타입 챗봇과 신뢰할 수 있는 대화형 백엔드 (conversational backends)를 구분 짓는 아키텍처 결정 및 구현 패턴을 다룹니다.

대화 상태 설계 (Design the Conversation State)

대화의 모든 메시지는 컨텍스트 윈도우 (context window)에 토큰을 추가합니다. 프로덕션 환경에서는 모델 제한을 초과하거나 추론 예산 (inference budget)을 소진하기 전에 히스토리 (history)를 어떻게 절단 (truncate), 요약 (summarize), 또는 압축 (compress)할지 결정해야 합니다. 일반적인 패턴은 마지막 N번의 턴 (turns)에 대한 슬라이딩 윈도우 (sliding window)를 유지하고, 여기에 요약된 요약본을 추가하는 방식입니다.