더 많이 생각할 것인가, 더 많이 읽을 것인가? 공유 컨텍스트를 활용한 추론의 토큰 예산 이론

요약

본 논문은 추론 시스템에서 컨텍스트를 소모하는 토큰의 상충 관계를 다루는 '토큰 예산 이론'을 제안합니다. 이 이론은 읽기(읽는 내용)와 생성(추론에 사용되는 공간)이 고정된 토큰 창 내에서 발생하는 자원 배분을 모델링하며, 특히 다중 에이전트 토론의 최적 에이전트 수를 예측할 수 있게 합니다.

핵심 포인트

• 토큰 예산 이론은 읽기와 생성이 공유 컨텍스트를 활용하는 추론 시스템에 적용됩니다.
• 다중 에이전트 토론 시, 이 이론을 통해 최적의 에이전트 수를 계산하여 실제 실험 없이도 예측 가능합니다.
• 공유 창 환경에서는 모델이 남겨둔 '생각할 공간'이 읽는 내용보다 더 중요함을 입증했습니다.