LLM에서의 생성(Production)과 인식(Perception): 토큰 확률 접근법
요약
본 연구는 LLM에서 언어의 '생성(Production)'과 '인식(Perception)' 간의 비대칭성을 탐구했습니다. 기존에는 동일한 다음 토큰 예측 메커니즘에 의존한다고 여겨졌으나, 직접적인 토큰 확률 측정을 통해 두 과정의 차이를 작동화했습니다. 실험 결과, 생성-인식 거리가 생성-생성 거리보다 유의미하게 크게 나타났습니다.
핵심 포인트
- LLM에서 생성과 인식 간의 비대칭성을 탐구함.
- 다음 토큰 예측을 넘어선 직접적인 토큰 확률 측정을 사용.
- 실험 결과, 생성-인식 거리가 생성-생성 거리보다 큼을 확인.
언어 심리학에서는 언어 생성과 인식이 비대칭적이라는 점이 잘 알려져 있습니다. 대규모 언어 모델(LLMs)이 기능적으로 유사한 구분을 보이는지는 여전히 미해결 문제입니다. 특히 LLMs가 입력 및 출력 처리 모두에 동일한 근본 메커니즘(다음 토큰 예측, next-token prediction)에 의존한다는 점을 고려할 때 더욱 그렇습니다. 본 탐색적 연구에서는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-인식 구분을 작동화했습니다. 기본 Llama-3.1-8B 모델을 사용하여, 저희는 생성 프롬프트 하에서 시를 생성하고 동일한 토큰들을 재구성된 생성 프롬프트와 인식 지향적 프롬프트 모두 하에서 다시 점수화했습니다. 네 가지 생성 프롬프트와 세 가지 인식 프롬프트를 사용한 광범위한 실험을 통해, 생성-인식 거리는 일관되고 상당히 생성-생성 거리보다 크게 나타났습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기