컨텍스트 윈도우(Context Window)가 가득 찼을 때, 텍스트를 압축하는 대신 이미지로 변환한다면 어떨까요? Stencil이

요약

컨텍스트 윈도우 제한 문제를 해결하기 위해 텍스트를 이미지로 변환하는 Snapcompact 기술을 소개합니다. 텍스트를 픽셀 폰트 비트맵으로 렌더링하여 토큰 비용을 약 1/3 수준으로 절감하면서도 모델이 내용을 정확히 읽을 수 있게 합니다.

핵심 포인트

• 텍스트를 이미지로 변환하여 컨텍스트 압축 효율 극대화
• 일반 토큰 대비 약 1/3 수준의 비용 절감 효과
• 문자당 약 40 제곱 픽셀 크기가 성능 유지의 임계점
• 모델이 이미지를 단순 시각 정보가 아닌 텍스트로 인식하여 처리