Jev의 선택지 확률을 활용한 선택적 예측을 JNLI로 평가하기

TypeSafe 모델 Jev는 선택형 질문에 대해 답변과 각 선택지의 확률을 반환합니다. 이 확률을 기준으로 조건을 만족하는 예측만 채택하고 나머지는 보류할 수 있습니다.

다만, 채택할 예측을 좁혀 정확도가 올라가더라도 대부분의 예측을 보류하게 되면 활용 가능한 상황이 제한됩니다. 이에 이번에는 일본어 자연어 추론 데이터셋 JNLI를 사용하여 목표로 하는 정확도 대비 어느 정도의 예측을 채택할 수 있는지 조사했습니다. 채택 기준은 개발용(dev) 데이터에서 정하고, 다른 평가용(test) 데이터에서도 목표 정확도에 도달하는지 확인하고 있습니다.

평가 방법

JNLI는 전제문과 가설문의 관계를 다음 3가지 중 하나로 선택하는 태스크입니다.

• entailment:
  전제문이 참이라면, 가설문도 반드시 참인 경우
• contradiction:
  전제문과 가설문이 양립할 수 없는 경우
• neutral:
  전제문만으로는 가설문의 진위를 결정할 수 없는 경우

Jev에게 이 3가지 정의를 전달하고, 문장에 쓰여 있지 않은 정보를 보충하지 않고 판정하도록 지시했습니다. 반환된 선택지 확률의 최댓값을 '스코어'로 하고, 채택 경계가 되는 임계값(threshold) 이상이면 채택하고 그보다 낮으면 보류합니다. 스코어는 API의 confidence와는 다른 값이며, 정답할 확률을 나타낸다고 할 수 없습니다.

사용된 데이터는 JGLUE JNLI v1.3.0 개발용 데이터(dev) 2,434건과 평가용 데이터(test) 2,508건입니다. dev에서는 채택 후 정확도에 대해 90%, 95%, 99%의 세 가지를 목표로 각각 조건에 맞는 임계값을 찾았습니다.

채택 건수가 적을 경우의 불확실성도 고려하여, 정확도의 단측 95% Clopper–Pearson 신뢰 하한이 목표 이상이 되는 임계값 중 가장 많은 예측을 채택할 수 있는 것을 선택했습니다. 지시문과 임계값은 dev에서 정했으며, test 결과를 보고 변경하지 않았습니다.

test는 2026년 10월 10일(JST)에 Jev jev-1.13.0으로 평가했습니다.

다만, 측정 전에 test 전체 건의 형식과 일부 문장 및 정답을 확인했습니다. 내용을 한 번도 보지 못한 데이터에서의 평가는 아니라는 점에 유의해야 합니다. 지시문이나 API 지정, 사전 확인 경위는 평가 절차에 정리했습니다.

test에서의 채택률과 정확도

test 2,508건 중 선택지 확률의 합이 사전에 정한 범위를 벗어난 1건을 집계에서 제외했습니다. 나머지 2,507건 전체를 채택했을 경우, 정확도는 84.52%(2,119 / 2,507건)였습니다.

채택률(coverage)은 집계 대상인 2,507건 중 몇 할을 채택했는지를 나타냅니다. 채택 후의 정확도는 그 채택한 예측 중 몇 할이 정답이었는지를 의미합니다.

반면, 같은 임계값에서 dev의 96.01%와 비교했을 때 정확도는 하락했으며, 목표치인 95%에는 도달하지 못했습니다. 임계값 0.69에서도 정확도는 88.64%로, 90% 목표에 미달합니다.

99% 목표에서는 dev에서 조건에 맞는 임계값이 없어 채택이 0건이었으므로 정확도 계산이 불가능했습니다.

표의 95% 신뢰 구간은 정확도 추정 범위(임계값과 채택한 예측을 고정한 양측 Clopper–Pearson 구간)를 나타냅니다. 모델이나 데이터 경향 변화의 영향, test 내용을 사전에 본 영향은 포함하지 않습니다.

스코어가 높아도 남아있는 오류

오류 중 가장 많았던 것은 데이터상의 정답이 contradiction인 것을 neutral로 예측하는 경우였습니다. 전체 오류 388건 중 223건이 여기에 해당했으며, 임계값 0.92로 줄여서도 남은 오류 96건 중 78건을 차지했습니다.

채택한 예측 중에는 스코어가 1.00임에도 틀린 것이 있었습니다. 그중 8건을 확인했을 때, 데이터상의 정답은 contradiction이었지만 문장만으로는 양립하는 것처럼 읽히는 조합이 발견되었습니다. 다만, 이 8건만을 봤다고 해서 데이터상의 정답이 잘못되었다고 판단할 수는 없습니다. 오류 전체가 같은 이유로 발생했다고도 말할 수 없습니다.

또한, 스코어 0.90–1.00의 1,639건을 모아보면 평균 스코어는 0.9767(97.67%)이었지만, 실제 정답률은 93.29%였습니다. 예측을 채택할 기준으로는 사용할 수 있지만, 그 값을 그대로 정답으로 읽을 수는 없습니다.

이번 결과는 JNLI와 하나의 지시문, 모델 jev-1.13.0으로 얻어진 것입니다. 업무에 사용하기 위해서는 아직 내용을 확인하지 않은 업무 데이터에서도 채택률과 채택 후의 정답률을 확인해야 합니다.

평가 자료 및 비용

dev와 test 평가에 소요된 비용은 TypeSafe 이용 화면에서 확인한 총액으로 $0.1148이었습니다.

토론