이 글은 이전에 작성한 게시물에 대한 업데이트입니다. 전체 백분율이 흥미로운 요소들을 가리고 있다고 불평해놓고, 정작 전체 백분율 차트만 게시했다는 점에 대해 몇몇 분들이 타당한 지적을 해주셨습니다. 그래서 이번에는 동일한 8개의 모델을 대상으로 동일한 벤치마크(benchmark)를 실행하되, 카테고리를 더 세분화하고 히트맵(heatmap) 방식으로 전환하여 하위 점수들이 평균화되어 사라지는 대신 실제로 나타나도록 했습니다.

이 도구가 실제로 무엇인지에 대한 간단한 배경 설명입니다. 이것은 제가 작업 중인 로컬 RP(Roleplay) 앱을 위해 모델을 선정하고 프롬프트(prompt)를 튜닝하기 위해 직접 만든 도구이며, 공식적으로 발표된 벤치마크(benchmark)는 아닙니다. 이 도구는 일련의 게임 내 작업들을 실행하고, LLM(Large Language Model)을 판사(judge)로 사용하여 각 작업에 대해 해당 작업에 특화된 기준에 따라 점수를 매깁니다. 예를 들어 모델이 구조화된 출력(structured output)의 유효성을 유지했는지, 장면의 설정된 사실들을 존중했는지, 플레이어가 작성한 텍스트를 재작성했는지, 하지 말아야 할 상황에서 플레이어의 대사를 대신했는지, 그리고 인벤토리(inventory)나 시간 경과와 같은 상태 변화를 올바르게 반영했는지 등을 확인합니다.

지난번에도 많이 언급되었기에, 여기서 LLM 판사(LLM judge)를 사용하는 것의 한계에 대해서도 솔직하게 말씀드리고 싶습니다. LLM으로 글쓰기가 좋은지를 판단하는 것은 거의 무용지물에 가깝습니다. 어조(tone)와 창의성은 주관적이며, LLM 채점자는 그것에 대한 신뢰할 수 있는 중재자가 아닙니다. 이 벤치마크(benchmark)가 실제로 잘하는 부분이자 전적으로 의존하고 있는 부분은 기계적 준수(mechanical compliance)를 판단하는 것입니다. 모델이 주어진 문맥(context)을 유지했는지, 플레이어를 대신하여 행동하는 것을 피했는지, 유효한 구조화된 출력(structured output)을 생성했는지, 상태(state)를 정확하게 추적했는지와 같은 것들입니다. 이러한 것들은 취향의 문제가 아니라 이진법(binary)에 가깝기 때문에 LLM 판사(LLM judge)가 상당히 신뢰성 있게 확인할 수 있는 요소들입니다. 따라서 이 벤치마크(benchmark)는 "글쓰기가 좋은가"라는 질문보다 더 좁고 유용한 질문, 즉 "이 모델이 내 앱에 필요한 기계적인 작업을 안정적으로 수행하는가"라는 질문에 답하고 있습니다. 이제 실제 결과입니다.

전체 통과율(Overall pass rate)은 여전히 gemma 4 31B가 87%로 가장 높으며, Qwen3.6 27B가 82%로 그 뒤를 바짝 쫓고 있습니다. 그다음으로는 gemma 4 12B가 80%를 기록했으며, 그 이후에는 더 작고 느슨한 모델들의 경우 55%에서 72% 범위로 급격히 하락합니다.
제출자: /u/UsedMorning9886
[link] [comments]