재미와 이익을 위해 텍스트 모델에 비전 기능을 이식하기

요약

llama.cpp 환경에서 텍스트 전용 모델에 비전 기능을 통합하는 실험적인 방법을 다룹니다. Mistral의 Pixtral 인코더를 활용하여 기존 모델의 토크나이저에 포함된 이미지 관련 토큰을 수정함으로써, 모델이 이미지를 올바르게 인식하도록 만드는 과정을 설명합니다.

핵심 포인트

• llama.cpp는 기본적으로 비전 기능을 메인 가중치와 분리하여 처리함
• Pixtral과 같은 비전 인코더를 기존 모델에 결합하여 멀티모달 기능을 구현할 수 있음
• 토크나이저 내의 특수 토큰(예: [IMG_END]) 불일치 문제를 소스 코드 수정이나 모델 변환을 통해 해결 가능함
• Gemma 모델의 사례처럼 토크나이저에 이미 ASR이나 이미지 관련 토큰이 포함된 경우가 있어 이를 활용할 수 있음