관점: 실제 세계의 자기회귀적 Transformer의 튜링 완전성(Turing-Completeness)은 컨텍스트 관리(Context

요약

본 논문은 Transformer의 튜링 완전성(Turing-completeness)을 논할 때 고정된 시스템 설정과 스케일링 패밀리 설정을 혼동하는 기존 연구의 오류를 지적합니다. 저자는 실제 LLM 배포 환경에 부합하는 고정 시스템 설정을 제안하며, 모델의 계산 능력이 컨텍스트 관리 방식에 의해 결정적으로 좌우됨을 강조합니다.

핵심 포인트

• 기존 Transformer 튜링 완전성 증명은 주로 모델의 크기나 정밀도가 증가하는 스케일링 패밀리 설정에 의존함
• 실제 LLM 환경은 고정된 모델이 컨텍스트 관리 방식을 통해 입력을 처리하는 고정 시스템 설정에 더 가까움
• 스케일링 패밀리 설정에서의 증명은 이론적 자원 경계는 제공하나 실제 튜링 완전성을 확립하지는 못함
• 컨텍스트 관리 방식이 자기회귀적 Transformer의 실제 계산 능력을 결정하는 핵심 요소임