AI Evals Engineer가 되기 위한 6개월 로드맵

만약 제가 AI Evals Engineer가 되는 데 6개월의 시간이 주어진다면, 저는 이렇게 할 것입니다.

1단계: AI를 위한 테스트 기초 및 통계학 학습

• 학습할 내용: pytest (fixtures, parametrize), JSONL 파이프라인, 정밀도/재현율/F1 점수, 신뢰 구간(confidence intervals), Cohen's kappa.

• 실습: JSONL 평가 데이터셋을 로드하고 실행될 때마다 메트릭 보고서를 출력하는 pytest 플러그인을 구축합니다.

• 이유: Evals는 테스트이고 테스트는 수학입니다. 합의를 정량화할 수 없다면, 개선을 증명할 수 없습니다.

2단계: LLM 실패 모드 및 동작 이해

• 학습할 내용: temperature와 top-p 샘플링, seed 제어, 토큰화 엣지 케이스(tokenization edge cases), instruction drift, 환각 분류 체계(hallucination taxonomies).

• 실습: 하나의 모델을 500개의 적대적 입력(adversarial inputs)으로 퍼징하고, 모든 실패 사례를 재현 단계가 포함된 분류 체계로 분류합니다.

• 이유: 모든 평가 스위트(eval suite)는 알려진 실패 모드의 지도입니다. 이해하지 못하는 것은 평가할 수 없습니다.

3단계: 골든 데이터셋 엔지니어링

• 학습할 내용: 주석 가이드라인(annotation guidelines), 계층적 샘플링(stratified sampling), 주석가 간 합의(inter-annotator agreement), 데이터셋 버전 관리(dataset versioning), 오염 탐지(contamination detection).

• 실습: 2명의 주석가를 사용하여 300개의 사례로 구성된 골든 데이터셋을 구축하고, kappa를 측정하며, changelog와 함께 git으로 버전 관리합니다.

• 이유: 평가의 질은 데이터셋에 달려 있습니다. 잘못된 레이블(garbage labels)은 잘못된 신뢰도(garbage confidence)를 낳습니다.

4단계: 점수 산정 방법 및 LLM-as-a-Judge

• 학습할 내용: 정확 일치(exact match)와 퍼지 일치(fuzzy match), 임베딩 유사성, 루브릭 설계(rubric design), 심사 모델 선택(judge model selection), 심사 편향(judge biases) (장황함, 위치, 자기 선호).

• 실습: 루브릭을 가진 LLM-as-a-judge를 구축하고, 100개의 인간 레이블과 교정하여 합의 점수를 발표합니다.

• 이유: 심사관은 변하고 거짓말을 합니다. 보정된(calibrated) 심사관은 도구이지만, 보정되지 않은 것은 느낌일 뿐입니다.

5단계: RAG 평가

• 학습할 내용: hit rate, MRR, NDCG, recall@k, 충실도 대 관련성(faithfulness vs relevance), 인용 기반 근거 제시(citation grounding), 기권 품질(abstention quality).

• 실습: 별도의 검색 게이트와 생성 게이트를 가진 RAG 평가 하니스를 구축하고, 반드시

Stage 6: 에이전트 및 궤적 평가 (Agent and Trajectory Evaluation)

• 학습할 내용 (Learn): tool 호출 정확도, 단계별 채점(step-level grading), 궤적 거리 측정 지표(trajectory distance metrics), 반사실 재현(counterfactual replay), 격리된 실행 점수화(sandboxed execution scoring).
• 실습 (Practice): 각 tool 호출을 골든 패스(golden path)와 비교하여 점수를 매기고 위험한 행동 시퀀스를 차단하는 궤적 채점기(trajectory grader)를 구축합니다.
• 이유 (Why): 최종 답변 평가(Final-answer evals)는 에이전트가 실제로 실패하는 지점을 숨깁니다. 궤적(The trajectory) 자체가 책임 소재의 단위입니다.

Stage 7: 평가 프레임워크 및 맞춤형 하니스를 구축하기 (Eval Frameworks and Custom Harnesses)

• 학습할 내용 (Learn): DeepEval, promptfoo, RAGAS, Braintrust, OpenAI Evals; 데이터셋 기반 파이프라인, 매개변수화된 설정(parameterized configs).
• 실습 (Practice): 3가지 프레임워크를 하나의 CLI 뒤에서 실행하고 통합 메트릭 보고서를 출력하는 맞춤형 하니스를 작성합니다.
• 이유 (Why): 프레임워크는 발판(scaffolding)을 제공하지만, 그 발판이 잘못되었을 때 통제권을 주는 것은 맞춤형 하니스입니다.

Stage 8: 평가 변화량에 대한 통계적 엄밀성 확보하기 (Statistical Rigor for Eval Deltas)

• 학습할 내용 (Learn): 부트스트랩 신뢰 구간(bootstrap confidence intervals), 쌍별 유의성 검정(paired significance tests), 효과 크기(effect size), 표본 크기 계산, 시드 분산(seed variance).
• 실습 (Practice):

단계 11: 데이터 플라이휠 및 평가 기반 최적화

• 학습할 내용 (Learn): 피드백을 데이터셋으로 변환하는 루프(feedback-to-dataset loops), DPO 선호 쌍(DPO preference pairs), 평가 주도 프롬프트 최적화(eval-driven prompt optimization, DSPy), 가드레일 지표를 사용한 A/B 테스트.

• 실습 (Practice): 이 루프를 자동화합니다: '싫어요' 피드백 → 레이블링된 사례 → 골든 셋 추가 → 야간 평가 실행 → 차이점 보고서 생성.

• 이유 (Why): AI 분야에서 복리 효과(compounding advantage)를 제공하는 것은 모델 자체가 아닙니다. 실패를 테스트로 전환시키는 플라이휠입니다.

단계 12: 레드팀, 공개 벤치마크 및 포트폴리오

• 학습할 내용 (Learn): 적대적 스위트(adversarial suites)(주입(injection), 탈옥(jailbreaks), 데이터 유출(data exfiltration)), 벤치마크 방법론, 오염 인식 보고서 작성법.

• 실습 (Practice): 에이전트를 단순한 기준선 모델과 비교하는 공개 평가 분석 자료를 전체 방법론 및 재현 가능한 시드와 함께 발표합니다.

• 이유 (Why): 선임 평가 엔지니어는 대시보드가 아닌 그들의 방법론 때문에 고용됩니다.

'느낌 확인(Vibe-checking)'은 끝났습니다. 측정할 수 없다면, 배포할 수도 없습니다.
현대의 AI 평가 엔지니어는 모든 자율 시스템을 위한 품질 게이트를 구축합니다.

북마크하고 다시 공유하세요!