AI Evals Engineer가 되기 위한 6개월 로드맵

요약

본 로드맵은 AI Evals Engineer가 되기 위한 체계적인 6개월 학습 계획을 제시합니다. 테스트 기초, LLM 실패 모드 분석, 골든 데이터셋 구축, 점수 산정 방법론(LLM-as-a-Judge), RAG 평가, 그리고 에이전트의 궤적 평가까지 다루며 실무 역량을 강화하는 데 초점을 맞추고 있습니다.

핵심 포인트

• Evals는 테스트이며, 통계학 기반 지표 학습이 필수입니다.
• LLM의 실패 모드(hallucination 등)를 이해하고 분류 체계를 구축해야 합니다.
• 평가 품질은 데이터셋에 달려있으므로 골든 데이터셋 엔지니어링이 중요합니다.
• RAG 및 에이전트 평가 시, 최종 답변뿐 아니라 궤적 자체를 점수화하는 것이 핵심입니다.