장기 문맥 모델링의 불가능 삼각형

요약

본 논문은 장기 시퀀스 모델링에 내재된 근본적인 트레이드오프를 '불가능 삼각형'으로 형식화하고 증명합니다. 이 삼각형은 효율성(단계당 계산 비용), 압축성(상태 크기), 그리고 회상 능력(장기 의존성 기억) 세 가지 속성을 동시에 만족하는 모델이 존재할 수 없음을 보여줍니다. 연구진은 트랜스포머, SSM, RNN 등 다양한 아키텍처를 통합한 온라인 시퀀스 프로세서 추상화 내에서 이 한계를 수학적으로 증명하며, 실제 실험을 통해 이론적 한계가 경험적으로도 유효함을 검증합니다.

핵심 포인트

• 장기 시퀀스 모델링은 효율성, 압축성, 회상 능력 세 가지 속성 간의 근본적인 트레이드오프에 직면한다.
• 이 트레이드오프는 '불가능 삼각형'으로 형식화되었으며, 어떤 아키텍처도 이 영역을 벗어날 수 없다.
• 데이터 처리 불평등 및 Fano의 부등식을 사용하여 회상 가능한 키-값 쌍의 상한선을 수학적으로 증명했다.
• 다양한 최신 모델(Transformer, SSM 등)들을 분석하여, 각 모델이 세 속성 중 최대 두 가지만 달성함을 보여준다.
• 실제 합성 연상 회상 실험을 통해 이론적 정보론적 한계가 경험적으로도 유효함을 검증하였다.