관점: 실제 세계의 자기회귀적 Transformer의 튜링 완전성(Turing-Completeness)은 컨텍스트 관리(Context
요약
본 논문은 Transformer의 튜링 완전성(Turing-completeness)을 논할 때 고정된 시스템 설정과 스케일링 패밀리 설정을 혼동하는 기존 연구의 오류를 지적합니다. 저자는 실제 LLM 배포 환경에 부합하는 고정 시스템 설정을 제안하며, 모델의 계산 능력이 컨텍스트 관리 방식에 의해 결정적으로 좌우됨을 강조합니다.
핵심 포인트
- 기존 Transformer 튜링 완전성 증명은 주로 모델의 크기나 정밀도가 증가하는 스케일링 패밀리 설정에 의존함
- 실제 LLM 환경은 고정된 모델이 컨텍스트 관리 방식을 통해 입력을 처리하는 고정 시스템 설정에 더 가까움
- 스케일링 패밀리 설정에서의 증명은 이론적 자원 경계는 제공하나 실제 튜링 완전성을 확립하지는 못함
- 컨텍스트 관리 방식이 자기회귀적 Transformer의 실제 계산 능력을 결정하는 핵심 요소임
많은 연구가 Transformer가 튜링 완전(Turing-complete)하다는 눈길을 끄는 주장을 펼칩니다. 그러나 기존 문헌은 종종 두 가지 서로 다른 설정(setting)을 혼동합니다: (i) 고정된 Transformer 시스템 설정으로, 고정된 자기회귀적(autoregressive) Transformer가 다양한 길이의 입력을 단계별로 처리하기 위해 고정된 컨텍스트 관리(context-management) 방식과 결합된 경우, 그리고 (ii) 스케일링 패밀리(scaling-family) 설정으로, 서로 다른 입력 길이를 처리하기 위해 (컨텍스트 윈도우(context-window) 길이 또는 수치 정밀도(numerical precision)가 증가하는) 다양한 모델군이 사용되는 경우입니다. Transformer의 튜링 완전성에 대한 기존 증명들은 빈번하게 설정 (ii)에서 확립되는 반면, 실제 LLM 배포 및 튜링 완전성의 표준 개념은 설정 (i)에 더 자연스럽게 부합합니다. 본 논문에서 우리는 먼저 고정 시스템(fixed-system) 설정을 공식화하여, 이를 통해 실제 LLM이 어떻게 작동하는지에 대한 구체적인 특성을 제공합니다. 그다음 우리는 스케일링 패밀리 설정에서 증명된 결과들이 이론적으로 의미 있는 자원 경계(resource bounds)를 제공하기는 하지만 튜링 완전성을 확립하지는 못한다는 점을 주장하며, 이를 통해 기존 결과들에 대한 흔한 오해를 바로잡습니다. 마지막으로, 우리는 서로 다른 컨텍스트 관리 방식이 매우 판이한 계산 능력(computational power)을 낼 수 있음을 보여주며, 컨텍스트 관리가 실제 세계의 자기회귀적 Transformer의 계산 능력을 결정적으로 결정하는 핵심 구성 요소라는 입장을 옹호합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기