범용 학습자로서 프롬프트 조건부 언어 모델의 한계에 대하여

대규모 언어 모델 (LLMs)은 임의의 작업을 해결할 수 있는 범용 해결사로 자주 묘사됩니다. 우리는 이러한 관점이 근본적인 제약 사항을 간과하고 있다고 주장합니다. 즉, 언어는 작업 정보를 전달하기 위한 압축되고 용량이 제한된 인터페이스라는 점입니다. 사용자-시스템 (User--System) 상호작용을 이층 구조의 extit{cheap-talk} 게임으로 모델링하여, 잠재적 작업이 프롬프트에 어떻게 인코딩되고 정렬 (alignment) 및 안전 제약 조건 하에서 어떻게 재해석되는지 분석합니다. 우리는 작업 추론 (task inference)과 실행 (execution)을 분리하는 개념적 분해를 도입하고, 유한 샘플 추정 오차 (finite-sample estimation error)와 줄일 수 없는 구조적 한계 (irreducible structural limitations)를 구분하는 PAC-Bayes 경계 (bounds)를 도출합니다. 우리의 첫 번째 주요 결과는 extit{표현력 하한 (expressivity floor)}을 설정합니다. 언어는 용량이 제한된 통신 채널로 작용하며, 작업 군 (task family)의 정보 복잡성이 해당 채널의 용량을 초과할 때마다 서로 다른 작업들이 해결사 (Solver)에게 불가피하게 구별 불가능해지며, 이는 추가적인 데이터, 최적화, 또는 모델 스케일링만으로는 제거할 수 없는 엄격하게 양수인 오차 하한을 유발합니다. 이어서 우리는 extit{목적 불일치 하한 (objective-misalignment floor)}을 설정합니다. 정렬 제약 조건이 허용 가능한 출력 집합을 제한할 때, 사용자 이상적 분포 (User-ideal distribution)가 실행 가능한 클래스 밖에 존재할 수 있으며, 이는 줄일 수 없는 왜곡을 유발합니다. 종합하면, 이러한 결과들은 공식적인 부정적 결론을 도출합니다. 즉, 프롬프트 조건부 LLM은 프롬프팅만으로는 보편적인 문제 해결사가 될 수 없는데, 이는 무한 데이터 영역 (infinite-data regime)에서도 올바른 행동을 달성하는 것이 증명 가능하게 불가능한 작업 군이 존재하기 때문입니다. 더 넓게는, 우리의 분석은 프롬프트 기반 일반화의 한계가 정보 제약적 통신과 정렬 제약적 목적 함수로부터 발생함을 보여줍니다. 이는 멀티모달 관찰 (multimodal observations) 및 외부 메모리 (external memory)를 포함하여 자연어를 넘어선 인터페이스가 시스템 (System)이 사용할 수 있는 작업 관련 정보를 증가시킴으로써 LLM의 내재적 한계를 줄일 수 있음을 시사합니다.