LLM 평가 설명: 벤치마크가 어떻게 비교 가능한 숫자를 만들어내는가

요약

LLM 평가는 모든 모델이 동일한 프롬프트, 동일하게 고정된 심사위원(judge), 그리고 각 축별 채점 기준(rubrics)에 직면하고, 누구나 모델이 실제로 무엇을 답변했는지 다시 읽어볼 수 있는 공개적인 원문 기록(verbatim trail)이 있을 때만 유용해집니다. 이 글에서는 그 메커니즘을 단계별로 설명한 다음, LFORLA Reverse Engineering 벤치마크의 실제 수치를 보여줍니다. 여기서 저희 제출물인 GLM 5.2는 전체적으로 78.0점을 받았고, 현재 리더보드에 올라온 Nemotron 3 Ultra는 43.48991396255626점을 받았습니다.

평가 작동 방식

비교 가능한 숫자는 우연히 나타나는 것이 아닙니다. 그것은 고정된 파이프라인의 결과물입니다. 여기서는 Reverse Engineering 벤치마크를 예로 들어 메커니즘을 설명합니다.

1. 동일한 프롬프트, 동일한 과제

이 벤치마크는 'Reverse Engineering (Binary to Source)'라는 이름입니다. 이 과제는 제거된(stripped) 바이너리 파일로부터 함수의 C 소스 코드를 복원하는 것입니다. 모델은 도구를 사용하거나 도구 미사용 모드(no-tools mode)를 사용할 수 있습니다. 모든 모델은 동일한 프롬프트와 동일한 바이너리를 받습니다. 실행 간에 변하는 것은 오직 모델뿐입니다.

2. 동일하게 고정된 심사위원

채점은 서버 전용의 참조(references)에 대한 결정론적 토큰 유사도(deterministic token-similarity)를 기반으로 합니다. 이 참조는 모델에게 보여지지 않습니다. 심사위원은 즉흥적으로 행동하지 않습니다. 그것은 느낌이 아니라 토큰을 비교합니다. 이것이 바로 모든 모델과 시간 간에 숫자를 비교 가능하게 만드는 요소입니다.

3. 축별 채점 기준(Per-axis rubrics)

단일한 숫자는 너무 많은 것을 숨기므로, 이 벤치마크는 네 가지 축을 보고합니다:

• Completeness (완전성): 제출물이 커버하는 참조 토큰 수의 비율로, 0에서 100퍼센트 사이이며, 높을수록 좋습니다.
• Code Similarity (코드 유사도): 혼합된(blended) 토큰 유사도로, 60퍼센트의 bag-of-words 코사인 값과 40퍼센트의 LCS 비율이 합쳐진 것입니다. 0에서 100퍼센트 사이이며, 높을수록 좋습니다.
• Percent Reversed (복원된 비율): 전체 혼합 점수로, 60퍼센트의 코사인 값과 40퍼센트의 LCS가 결합되었습니다. 0에서 100퍼센트 사이이며, 높을수록 좋습니다.
• Function Recovery (함수 복구): 바이너리 게이트로, 토큰 유사도가 0.75 이상인 경우를 측정하며, 0에서 100퍼센트 사이이고, 높을수록 좋습니다.

4. 공개 원문 기록(Public verbatim trail)

모든 제출물은 누구나 모델이 실제로 어떤 답변을 했는지 다시 읽어볼 수 있도록 보존됩니다. 점수가 놀랍게 보인다면, 답변을 열어서 토큰을 직접 확인할 수 있습니다. 이것이 리더보드와 블랙박스의 차이점입니다.

실제 점수

순위가 이렇게 보이는 이유

78.0과 43.48991396255626 사이의 차이는 반올림으로 인한 오류가 아닙니다. 이는 각 모델이 참조 소스의 얼마나 많은 부분을 실제로 재구성했는지를 반영합니다. 78에 가까운 점수는 제출물이 참조 토큰 대부분을 다루었고, 혼합된 60% 코사인 및 40% LCS 메트릭 하에서 그것들을 근접하게 일치시켰음을 의미합니다. 43에 가까운 점수는 참조의 약 절반이 누락되었거나 정렬되지 않았음을 의미합니다. Function Recovery는 훨씬 더 엄격합니다. 토큰 유사도가 0.75에 도달할 때만 작동하므로, 모델은 Completeness에서는 괜찮아 보일 수 있지만 여전히 이진 게이트를 통과하지 못할 수 있습니다. 실제로 축들은 모델이 어디가 강하고 어디가 추측하는지를 알려줍니다.

모델을 선택하는 실무자에게 의미하는 바

단 하나의 헤드라인 숫자로 모델을 고르지 마십시오. 작업 부하에 맞는 축에서 고르십시오. 전체 소스 재구성이 필요하면 Completeness와 Function Recovery를 살펴보세요. 토큰 수준의 근접한 충실도가 필요하면 Code Similarity를 살펴보세요. 일반적인 신호가 필요하면 Percent Reversed를 살펴보세요. 그런 다음 관심 있는 사례에 대해 전문(verbatim) 추적을 읽으십시오. 쉬운 이진 테스트에서는 높은 점수를 받고 어려운 테스트에서는 실패하는 모델이 일관되게 점수를 받는 모델과 같지 않습니다.

리더보드 읽는 방법

1. 프롬프트와 채점 기준(judge)이 고정되어 있는지 확인하세요. 실행마다 변경된다면, 그 수치는 비교할 수 없습니다.
2. 순위표를 보기 전에 축 정의(axis definitions)를 읽으세요. 혼합 점수(blended score)는 가중치를 숨깁니다.
3. Function Recovery와 같은 이진 게이트(binary gate)가 있는지 찾아보세요. 이는 모델이 실제로 과제를 해결했는지 알려줍니다.
4. 최소한 하나의 제출물에 대해 원문 기록(verbatim trail)을 열어보세요. 점수가 답변과 일치하는지 확인하세요.
5. 전체 순위만으로 비교하지 말고, 사용 사례와 일치하는 축에서 모델들을 비교하세요.

솔직한 한계점

토큰 유사성(Token similarity)이 의미적 정확성(semantic correctness)을 보장하는 것은 아닙니다. 제출물이 토큰은 일치하지만 구조적으로는 틀릴 수 있습니다. 60% 코사인 유사도와 40% LCS 혼합 점수는 설계 선택일 뿐, 보편적인 진실은 아닙니다. Reverse Engineering 벤치마크는 하나의 과제군을 다루므로, 그 결과가 다른 코드나 추론 과제로 자동적으로 적용되지 않습니다. 여기에 표시된 리더보드는 스냅샷이며, 더 많은 모델이 제출됨에 따라 점수는 변동될 수 있습니다. 저희 자체 제출물인 GLM 5.2도 포함되어 있으니, 이 숫자 역시 다른 어떤 숫자와 마찬가지로 비판적인 시각으로 다루어 주십시오.

결론

LLM 평가는 미스터리가 아니라 메커니즘입니다. 동일한 프롬프트, 고정된 채점 기준, 축별 평가 기준(rubrics), 그리고 공개 원문 기록이 날것의 답변을 비교 가능한 숫자로 바꾸는 것입니다. 전체 벤치마크와 리더보드는 https://lforla.org에서 검토할 수 있습니다. 만약 사용자의 모델이 Reverse Engineering에서 어떻게 점수를 받는지 확인하고 싶다면, 직접 제출하여 기록을 읽어보십시오.