컨텍스트 윈도우 (Context Window)가 가득 찼을 때, 텍스트를 압축 (Compacting)하는 대신 이미지로 변환한다면 어떨까요? 이것이 바로 Stencil이 Snapcompact라고 부르는 기술을 통해 수행한 방식입니다.

핵심 트릭은 간단합니다. 전체 컨텍스트를 조밀한 픽셀 폰트 비트맵 (Bitmap)으로 렌더링하여, 요약하여 없애는 대신 모델에게 이미지로 다시 전달하는 것입니다.

1568x1568 PNG 이미지는 6x10 픽셀 폰트로 렌더링된 약 40,000자의 텍스트를 담을 수 있으며, Anthropic은 이 이미지를 단 3,279 토큰 (Tokens)으로 청구합니다. 동일한 텍스트를 일반 토큰으로 처리할 경우 약 10,000 토큰이 소요됩니다. 모델은 입력 비용의 약 1/3 수준으로 이미지를 거의 그대로 읽어냅니다.

흥미롭게도 폰트 크기가 중요합니다. 그들은 크기를 다양하게 변화시켜 보았고, 문자당 40 제곱 픽셀 (sq. px) 부근에서 급격한 변화를 발견했습니다. 이 임계값(Threshold)보다 크면 전사 (Transcription) 성능이 완만하게 저하되지만, 이보다 작으면 모델이 아무것도 읽지 못합니다.

요약하자면, 이 SnapCompact 기술을 통해 우리는 텍스트를 이미지로 압축할 수 있다는 것을 알게 되었습니다. 왜냐하면 모델은 단순히 컨텍스트의 사진을 보는 것이 아니라, 그것을 읽고 있기 때문입니다.

도움이 되길 바랍니다.

-- tdd[.]cat에서 발견함