AI 엔지니어를 위한 10가지 에이전트 평가(Evals)

(evals = 에이전트 평가(evaluaciones de agentes), 사용 사례와 함께 설명)

1. 골든 세트 (golden set)
   → 절대 수정하지 않는 고정된 사례 세트이며, 변경 사항이 있을 때마다 실행합니다.
   → 무언가 변했는지 알려주는 기준선(baseline)으로 사용하세요.

2. LLM as judge (LLM을 판사로 활용)
   → 두 번째 모델이 작성된 루브릭(rubric)에 따라 출력을 채점합니다.
   → 답변이 개방형이고 비교할 문자열(string)이 없을 때 사용하세요.

3. 루브릭 스코어링 (rubric scoring)
   → 정확성, 톤, 보안, 비용 등 차원별로 점수를 매깁니다.
   → 단일 점수만으로는 실제로 어떤 부분이 악화되었는지 숨겨질 때 사용하세요.

4. 궤적 평가 (trajectory eval)
   → 에이전트가 도달한 답변뿐만 아니라 에이전트가 거쳐온 경로를 평가합니다.
   → 잘못된 이유로 정답을 맞히는 것이 나중에 문제가 될 수 있을 때 사용하세요.

5. 도구 단위 테스트 (tool unit tests)
   → 모델을 개입시키지 않고, 피스처(fixtures)를 사용하여 각 도구를 개별적으로 테스트합니다.
   → 항상 사용하세요. 에이전트 버그의 대부분은 도구(tools)의 버그가 변장한 것입니다.

6. 회귀 테스트 스위트 (regression suite)
   → 새로운 프롬프트(prompt)나 모델에 대해 과거의 실행을 재현하고 결과를 비교합니다.
   → 프롬프트는 타입 시스템(system of types)이 없으므로, 프롬프트를 변경하기 전에 사용하세요.

7. 프로덕션 A/B 테스트 (a/b en producción)
   → 실제 트래픽을 두 버전으로 나누고 느낌이 아닌 결과를 비교합니다.
   → 오프라인 지표가 사용자의 행동을 더 이상 예측하지 못할 때 사용하세요.

8. 인간 검토 (human review)
   → 실행 샘플을 추출하여 사람이 정직하게 점수를 매기게 합니다.
   → 판사(judge)를 보정(calibrate)하기 위해 사용하세요. 아무도 검토하지 않는 판사는 조용히 편향됩니다.

9. 섀도우 런 (shadow run)
   → 후보 모델이 실제 트래픽 위에서 병렬로 실행되지만, 그 출력은 아무에게도 보여주지 않습니다.
   → 단 하나의 잘못된 답변이 큰 대가를 치르는 위험한 배포를 하기 전에 사용하세요.

10. 레드 팀 (red team)
    → 탈옥(jailbreaks), 인젝션(injection), 데이터 유출(exfiltración), 도구 남용(abuso de tools) 등 의도적으로 공격합니다.
    → 외부인이 접근하기 전, 그 이후가 아니라 그 전에 사용하세요.

오프라인 평가(evals offline)는 작동 여부를 알려줍니다.
온라인 평가(evals online)는 계속 작동하고 있는지를 알려줍니다.

이 내용을 저장해 두세요. 그 후 아래의 루프 엔지니어링(loop engineering)에서 전체 상세 내용을 읽어보세요.