Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 생성할 남은 출력 길이를 내부적으로 추정하고 있다는 연구 결과입니다. 은닉 상태를 통한 선형 프로빙 결과, 모델은 응답의 전체 길이를 예측할 수 있는 내부 표현을 가지고 있음이 확인되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 한 번에 하나의 토큰을 생성하지만, 그들의 응답은 놀라울 정도로 일관된 길이 구조를 보여줍니다. 즉, 단계별 솔루션은 예측 가능한 토큰 수로 수렴하고, 검색 (retrievals)은 몇 문장 후에 멈추며, 철회 (retractions)는 응답을 측정 가능한 양만큼 연장합니다. 우리는 모델이 응답이 얼마나 남았는지에 대한 내부 추정치를 가지고 있는지 질문합니다. 7개의 완성형 (completion-style) 데이터셋에 걸쳐 세 개의 오픈 웨이트 (open-weight) 7-8B 모델의 고정된 은닉 상태 (hidden states)에 최소 용량의 선형 프로브 (linear probes)를 학습시킨 결과, 세 가지 수렴하는 증거를 발견했습니다. 첫째, 전체 응답 길이는 출력이 방출되기 전, 프롬프트의 마지막 은닉 상태만으로도 선형적으로 디코딩 (decodable) 가능합니다. 둘째, 자연어 데이터셋에서 학습된 프로브 방향은 학습 과정에서 본 적 없는 통제된 합성 완성형 (synthetic completions)을 포함하여 광범위하게 전이되며, 통계적 베이스라인 (statistical baseline)보다 뛰어난 성능을 보입니다. 반대 방향은 일반적으로 실패하며, 이러한 비대칭성 자체가 정보가 됩니다. 셋째, 선별된 고손실 (high-loss) 완성형에서, 모델이 부분적인 솔루션을 철회하고 다시 시작하는 순간 프로브의 위치별 추정치가 상향 조정됩니다. 이는 위치 전용 예측기 (position-only predictor)가 재현할 수 없는 방향성 동작입니다 (집계가 아닌 질적 특성). 우리는 이를 트랜스포머 (transformers)의 정확한 계산 불가능성 (exact-counting impossibility) 결과와는 구별되는, 남은 생성 길이에 대한 근사적 추정 (approximate estimation)으로 정의하며, 이를 LLM이 출력 길이에 대한 계획과 유사한 내부 표현 (internal representation)을 유지한다는 증거로 해석합니다 (디코딩 가능하지만, 반드시 인과적으로 사용되는 것은 아님).