단 한 번의 AI 응답을 정확하게 만드는 것만으로는 더 이상 충분하지 않습니다.

AI 제품이 에이전트(Agents), 코딩 어시스턴트(Coding assistants), RAG 워크플로우(RAG workflows), 연구 도구(Research tools), 그리고 자동화 시스템(Automation systems)으로 진화함에 따라, 팀들은 모델이 여러 단계에 걸쳐 지속적으로 작동할 수 있는지 평가해야 합니다.

이는 단일 프롬프트(Single prompt)를 테스트하는 것과는 다른 문제입니다.

장기적 목표를 수행하는 AI 에이전트(Long-horizon AI agent)는 다음과 같은 작업이 필요할 수 있습니다:

• 많은 파일 읽기
• 도구 호출 (Call tools)
• 문서 검토 (Inspect documents)
• 실패한 단계 재시도 (Retry failed steps)
• 제약 사항 기억 (Remember constraints)
• 구조화된 출력 생성 (Produce structured output)
• 경로를 이탈하지 않고 원래의 작업 완료 (Finish the original task without drifting)

이것이 바로 모델 평가가 단순한 답변 품질에서 워크플로우 신뢰성(Workflow reliability)으로 이동해야 하는 이유입니다.

진짜 질문은 "어떤 모델이 가장 좋은가?"가 아닙니다

많은 팀이 여전히 다음과 같은 질문으로 모델을 비교합니다:

어떤 모델이 가장 좋은가?

이 질문은 너무 광범위합니다.

더 나은 질문은 다음과 같습니다:

이 워크플로우에서, 이 비용으로, 이 지연 시간(Latency)과 이 신뢰성 요구 사항을 충족하며 가장 잘 작동하는 모델은 무엇인가?

챗봇(Chatbot), RAG 시스템(RAG system), 코딩 에이전트(Coding agent), 그리고 자동화 워크플로우(Automation workflow)는 동일한 모델을 필요로 하지 않을 수 있습니다.

하나의 제품은 다음과 같은 용도로 서로 다른 모델을 사용할 수 있습니다:

• 빠른 채팅 응답
• 심층 추론 (Deep reasoning)
• 코드 편집 (Code editing)
• 중국어 문서 분석
• 다국어 지원 (Multilingual support)
• 긴 컨텍스트 워크플로우 (Long-context workflows)
• 백그라운드 자동화 (Background automation)

무엇을 측정해야 하는가

장기적 목표를 수행하는 에이전트(Long-horizon agents)의 경우, 벤치마크 점수(Benchmark scores)가 유용하지만 그것만으로는 충분하지 않습니다.

팀은 다음 사항들을 추적해야 합니다:

1. 작업 완료율 (Task completion rate)

에이전트가 실제로 작업을 마쳤습니까?

워크플로우가 나중에 실패한다면 강력한 첫 번째 응답은 큰 의미가 없습니다.

2. 제약 사항 유지 (Constraint retention)

모델이 여러 단계를 거친 후에도 원래의 지침을 기억했습니까?

예를 들어:

• 공개 API(Public APIs)를 변경하지 말 것
• 출력을 JSON 형식으로 유지할 것
• 기존 동작을 보존할 것
• 특정 파일만 편집할 것

긴 작업은 모델이 제약 사항을 서서히 잊어버리기 때문에 실패하는 경우가 많습니다.

3. 도구 동작 (Tool behavior)

에이전트 워크플로우에서 모델은 검색, 파일 읽기, API 호출, 테스트 실행 또는 로그 검토가 필요할 수 있습니다.

유용한 질문들:

• 올바른 도구(tool)를 호출하는가?
• 충분한 정보를 얻었을 때 멈추는가?
• 지능적으로 재시도(retry)하는가?
• 실패한 동작을 반복하는 것을 피하는가?

4. 성공적인 작업당 비용 (Cost per successful task)

토큰 가격(Token price)만으로는 충분하지 않습니다.

자주 실패하는 저렴한 모델은 실제로는 더 많은 비용이 들 수 있습니다.

재시도 횟수가 적어 작업을 완수하는 더 비싼 모델이 일부 워크플로우(workflow)에는 더 나을 수 있습니다.

성공적인 결과물당 비용을 추적하세요.

5. 전체 워크플로우의 지연 시간 (Latency across the full workflow)

단일 호출 지연 시간(Single-call latency)은 전체 이야기의 일부일 뿐입니다.

장기적 목표를 수행하는 에이전트(Long-horizon agents)의 경우, 완료까지 걸리는 총 시간을 측정하세요.

20번의 모델 호출이 필요한 워크플로우는 각 호출이 개별적으로는 수용 가능한 수준이라 하더라도 느리게 느껴질 수 있습니다.

평가 로그 예시 (Example evaluation log)

간단한 모델 평가 기록은 다음과 같을 수 있습니다:

{
...