LVLMs 의 지속적 시각 기억: 텍스트 히스토리 성장으로부터 시각 검색을 보호하는 병렬 분지

요약

본 기술 기사는 대규모 시각 언어 모델(LVLMs)이 텍스트 히스토리가 길어짐에 따라 발생하는 '시각 신호 희석' 문제를 해결하는 방법을 제시합니다. 이를 위해, 시각 검색 정보를 텍스트 입력의 성장으로부터 독립적으로 보호하는 병렬 분지 구조를 도입했습니다. 이 방법은 Qwen3-VL 모델에 적은 파라미터(28M)만 추가하여도 복잡한 추론을 위한 지속적인 시각 인식 능력을 향상시킬 수 있습니다.

핵심 포인트

• LVLMs의 주요 과제 중 하나는 텍스트 히스토리 증가에 따른 '시각 신호 희석(Visual Signal Dilution)' 현상입니다.
• 이 문제를 해결하기 위해, 시각 검색 정보를 보호하는 독립적인 병렬 분지 구조를 제안합니다.
• 적은 추가 파라미터(28M)만으로도 모델의 지속적인 시각 인식 능력을 크게 향상시킬 수 있습니다.
• 제안된 아키텍처는 복잡한 추론 과정에서 안정적인 시각 정보를 유지하는 데 초점을 맞춥니다.