TL;DR

• 이전에 단일 태스크(주간 보고 요약)를 대상으로, 고정 3축 × 동일 프롬프트 × 3일간의 간이 평가 하네스(Harness)를 통해 '주력 모델'을 하나 결정했다. 그 모델을 평가 축을 재설정하지 않고 다른 태스크(메일 초안 작성, 제안서 골자 작성)로 전용했을 때, 명확하게 정밀도가 떨어졌다.
• 원인은 태스크마다 최적화해야 할 평가 축이 다르며, 축 간의 상관관계가 약하기(거의 직교하기) 때문이다. 사실 충실도(Factuality)를 최대화하는 모델이 문체의 자연스러움이나 구성의 망라성에서도 최대화된다고 단정할 수 없다.
• 평가 축을 태스크별로 재정의하고 동일한 3일간의 하네스를 돌리자, 메일 초안 작성과 자료 골자 작성에서 모델의 서열이 태스크마다 반전되었다.
• '하나의 주력 모델을 모든 태스크에 고정하는' 운용은 단일 태스크의 평가 결과를 다른 태스크로 외삽(Extrapolation)하고 있을 뿐이며, 축이 바뀌면 근거를 잃는다. 태스크 × 평가 축의 조합을 단위로 하여 다시 평가할 필요가 있다.

배경

지난번, 일일 보고 요약이라는 태스크를 대상으로 3개의 모델(ChatGPT, Gemini, Claude)에 동일한 프롬프트를 3일간 던져, '지시된 형식·글자 수 준수', '사실 충실도(자료에 없는 숫자를 보완하지 않음)', '편집 불필요도'의 3축으로 채점하여 합계 점수 1위인 모델을 '주력'으로 결정했다. 이 기사에서는 그 주력 모델을 평가 축을 재설정하지 않고 다른 태스크(외부용 메일 초안 작성, 제안서 골자 작성)에 그대로 적용했을 때, 명백히 정밀도가 떨어졌다는 실례를 바탕으로, 태스크를 넘나들며 모델의 우열이 반전되는 이유를 평가 축의 직교성(Orthogonality)이라는 관점에서 정리한다.

원리 1: 태스크마다 최적화해야 할 평가 축은 다르며, 축 간의 상관관계는 약하다

일일 보고 요약에서 중시했던 축은 '사실 충실도'(참조 원문에 없는 정보를 생성하지 않는 것)였다. 반면, 메일 초안 작성에서 중시해야 할 축은 '경어·톤의 적절성', '용건의 망라성(용건·사과·다음 액션이 누락되지 않는 것)', '편집 불필요도(그대로 보낼 수 있는 자연스러움)'이며, 사실 충실도는 거의 관여하지 않는다. 자료의 골자 작성에서는 '논리 구조의 망라성(과제→제안→효과의 흐름에 누락이 없는지)', '소제목 입도(Granularity)의 일관성'이 지배적인 축이 된다. 이러한 축들은 평가하는 성질이 각각 다르며, 어떤 모델이 축 A에서 높은 점수를 낸다고 해서 축 B에서 높은 점수를 낼 것을 거의 보장하지 않는다. 사실 충실도를 최대화하도록 행동하는(보수적으로, 자료에 없는 정보를 보완하지 않는) 모델의 경향과, 톤의 유연함이나 구성의 망라성을 최대화하는 경향은 모델의 학습·튜닝 중점이 다르면 별개로 결정되는, 독립에 가까운 성질이라고 생각할 수 있다.

원리 2: 단일 태스크에서의 평가 결과를 다른 태스크로 외삽하면 근거를 잃는다

'주력 모델'이라는 단일한 결론은 특정 평가 축의 조합에 대해 얻어진 결과이며, 그 평가 축의 조합이 바뀌는 태스크에 대해서는 애초에 검증되지 않은 주장이다. 이는 지난 기사에서 다루었던 '집계 지표(종합 벤치마크)는 개별 태스크의 순위를 보장하지 않는다'라는 논점과 동일한 유형의 문제로, 이번에는 스코프가 더 좁아 '개인이 결정한 단일 태스크에서의 평가 결과' 자체가 다른 태스크에 대한 집계 지표와 같은 역할(보장하지 않는 외삽 원천)을 하고 있다. 하나의 태스크에서 검증되었다는 사실은 평가 축이 겹치는 다른 태스크에만 적용할 수 있다.

실험: 태스크별로 평가 축을 재정의하고 동일한 하네스를 돌린다

지난번과 동일한 3일간의 하네스(동일 프롬프트 × 3개 모델 × 3일간, 매일 3개 축을 채점하여 합계)를, 평가 축만 태스크별로 재정의하여 2개의 신규 태스크에 적용했다.

다음 의뢰 내용을 바탕으로, 거래처에 대한 사과와 일정 재조정 요청 메일을 400자 정도로 작성해 주세요.
경어는 흐트러뜨리지 말고, 용건·사과·다음 액션의 3점을 반드시 넣어 주세요.
【의뢰 내용】
...

다음 테마에 대해, 사내용 제안서의 골자(소제목과 불렛 포인트 형태의 장 구성)를 작성해 주세요.
과제→제안→효과의 흐름을 알 수 있도록, 소제목은 5~7개로 정리해 주세요.
【테마】
...

3일간의 합계 점수는 메일 초안 작성에서는 ChatGPT가 3일 연속 1위, 자료 골자 작성에서는 Claude가 3일 연속 1위라는 결과가 나왔다. 일일 보고 요약에서 주력이었던 모델은 메일에서는 근소한 차이로 2위, 골자 작성에서는 3위로 밀려나며, 태스크가 바뀔 때마다 서열이 거의 뒤바뀌었다. 3위로 밀려난 모델(Gemini)에 대해서도, 이번 2개의 태스크에서는 평가 축과 맞지 않았을 뿐, 긴 참조 자료를 대량으로 읽혀야 하는 태스크에서는 다른 결과가 나올 가능성이 높다고 보고 있다. 평가 축에는 '입력 컨텍스트의 분량'이라는 차원도 태스크마다 존재하므로, 이 또한 별도로 검증이 필요한 변수로 남는다.

효과가 없었던 것

• 단일 태스크에서 결정한 주력 모델을 평가 축을 재설정하지 않고 다른 태스크로 전용하는 것: 사실 충실도 (Factuality)를 축으로 선택된 모델이 톤(Tone)이나 구성의 포괄성이라는 별도의 축에서도 우위에 있다고 단정할 수 없었다. 축이 바뀌면 평가를 다시 수행할 필요가 있다.
• 평가 축을 너무 많이 늘리는 것: 3개 태스크 분량의 평가 축을 동시에 설계하려 했을 때, 축의 정의 자체가 발산하여 운영이 파탄 났다. 반복 빈도가 높은 태스크부터 평가 축을 한 세트씩 고정하며 단계적으로 늘려가는 것이 지속 가능하다.

요약

LLM의 '모델 간 우열'은 태스크에 의존하지 않는 고정된 순위가 아니라, 평가 축의 조합에 강하게 의존하는 양이다. 단일 태스크에서 얻은 평가 결과를 평가 축을 재설정하지 않고 다른 태스크로 외삽(Extrapolation)하면, 축 간의 상관관계가 낮기 때문에 근거를 잃게 된다. 실무에서는 태스크마다 평가 축을 재정의한 후, '동일 프롬프트 × 여러 모델 × 여러 날'이라는 최소한의 하네스(Harness)를 가동하여, '태스크 × 평가 축'을 단위로 모델을 선정하는 것이 외삽에 의한 오판을 피하는 현실적인 해답이다.

Discussion