LLM에서의 생성(Production)과 인식(Perception): 토큰 확률 접근법

요약

본 연구는 LLM에서 언어의 '생성(Production)'과 '인식(Perception)' 간의 비대칭성을 탐구했습니다. 기존에는 동일한 다음 토큰 예측 메커니즘에 의존한다고 여겨졌으나, 직접적인 토큰 확률 측정을 통해 두 과정의 차이를 작동화했습니다. 실험 결과, 생성-인식 거리가 생성-생성 거리보다 유의미하게 크게 나타났습니다.

핵심 포인트

• LLM에서 생성과 인식 간의 비대칭성을 탐구함.
• 다음 토큰 예측을 넘어선 직접적인 토큰 확률 측정을 사용.
• 실험 결과, 생성-인식 거리가 생성-생성 거리보다 큼을 확인.