텍스트 생성용 게임 이론적 디코딩 프레임워크: 내쉬 균형

텍스트 수정(Text revision)은 대규모 언어 모델(LLM)의 필수 구성 요소가 되었습니다. 본 논문은 텍스트 수정을 내쉬 균형(Nash equilibrium)을 허용하도록 공식화합니다. 토큰 위치를 플레이어로, 어휘 항목을 액션으로, 각 플레이어의 효용(utility)을 언어 모델의 로그 조건부 확률로 설정합니다. 우리는 내쉬 균형이 시퀀스 길이가 증가함에 따라 자기회귀적 출력(autoregressive outputs)보다 기하급수적으로 높은 가능도(likelihood)를 가질 수 있음을 보여줌으로써 텍스트 수정의 필요성을 역설합니다. 나아가, 프롬프트에 조건화된 토큰의 결합 확률(joint probability)에 접근할 수 있다는 가정 하에 $O(1/\varepsilon)$ 시간 내에 $\varepsilon$-내쉬 균형에 도달하는 알고리즘인 내쉬 디코딩(Nash decoding)을 제안합니다. 실제로는, 대규모 언어 모델로부터 얻은 조건부 확률 추정치를 사용하여 내쉬 디코딩을 실행하고, 질문 답변 벤치마크에서 그 결과로 얻은 균형점들을 평가했습니다. CLAPNQ, PubMedQA, 그리고 CoQA에서 마스크드 언어 모델(masked language models)을 통해 얻은 내쉬 균형점들은 추가적인 미세 조정(fine-tuning)이나 재훈련 없이도 자기회귀 모델보다 더 높은 F1 및 ROUGE 점수를 달성했으며, 그 차이는 최대 18배에 이르렀습니다. 다만, 이는 테스트 시간 계산량 증가라는 비용을 수반합니다.