자율 진화를 통한 과학 차트 분석 VLM 성능 개선

요약

본 논문은 과학 차트 분석에서 VLM의 낮은 성능 문제를 다루며, 모델 자체를 변경하지 않고 자율 진화(autonomous evolution) 기법을 활용하여 추론 프로그램을 개선하는 방법을 제안합니다. 이 접근 방식은 LLM이 실패 사례를 바탕으로 코드를 점진적으로 수정하며 정확도를 크게 향상시켰습니다. 결과적으로, VLM의 성능 최적화가 모델 재훈련 없이도 가능함을 입증했습니다.

핵심 포인트

• VLM은 과학 차트 기반 질문 답변에 취약하다는 문제점을 발견함.
• 모델을 재훈련하는 대신 추론 파이프라인(inference pipeline) 최적화가 핵심임.
• 자율 진화를 통해 정확도가 크게 향상되었으며, 평균 16.6%에서 41.3%로 상승함.
• 진화된 프로그램은 기존 대비 3.8배 더 빠른 처리 속도를 가짐.