원문은 AI Tech Connect에 게시되었습니다.

여러분이 알아야 할 사항: 추론 모델(Reasoning models) — 답변하기 전에 테스트 시간 연산(test-time compute)을 통해 생각하며, 그 과정에서 긴 사고 사슬(chains of thought)을 생성하는 모델들 — 은 좋은 평가(evaluation)의 기준을 바꾸어 놓았습니다. 수년 동안 기본 질문은 간단했습니다: 최종 답변이 맞았는가? 숫자를 확정하기 전까지 2,000개의 토큰에 달하는 풀이 과정을 작성하는 모델에게, 그 질문은 더 이상 충분하지 않습니다. 모델은 오류로 가득 찬 추론을 통해 정답에 도달할 수도 있고, 대부분 유효한 추론을 생성하다가 마지막 단계에서 실수하여 오답을 낼 수도 있습니다. 만약 여러분의 평가(eval)가 마지막 토큰만 읽는다면, 이 두 가지 사례는 서로 반대되는 사례와 동일하게 보일 것이며, 정답을 독립적으로 확인할 수 없는 상황에서 모델을 신뢰할 수 있는지에 대해 아무것도 배울 수 없습니다. 이 가이드는…

AI Tech Connect에서 전체 기사 읽기 →