AI 엔지니어링의 가장 이상한 점 중 하나는, 제품의 품질은 점점 나빠지고 있는데 테스트 스위트(test suite)는 100% 통과(green) 상태일 수 있다는 것입니다.

전통적인 소프트웨어는 우리에게 절대적인 방식으로 생각하도록 가르쳤습니다:

• 통과/실패 (pass/fail)
• 정답/오답 (correct/incorrect)
• 결정론적/비결정론적 (deterministic/non-deterministic)

AI 시스템은 우리로 하여금 분포 (distributions), 임계값 (thresholds), 신뢰 구간 (confidence intervals), 그리고 트레이드오프 (trade-offs)를 고려하여 생각하도록 강제합니다.

이는 미묘한 변화이지만, 소프트웨어를 구축하고, 테스트하고, 배포하는 방식을 변화시킵니다.

저는 AI 기반 애플리케이션을 구축하고 평가 (evals)를 배우면서 얻은 몇 가지 교훈을 정리했습니다.

https://kig.re/2026/06/22/writing-evals-for-ai-powered-apps.html

다른 이들이 프로덕션 AI 시스템에서 평가 (evaluation)와 회귀 테스트 (regression testing)에 어떻게 접근하고 있는지 궁금하시다면 확인해 보세요.

그리고 여러분이 직접 찾아보지 않아도 되도록 이 주제에 관한 가장 최신 연구 요약본을 여기 준비했습니다 :-)

https://kig.re/2026/06/22/ai-digest-on-evals.html