Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
차트, 정형 데이터, 시각화 코드 간의 교차 표현 이해를 위해 일관성 기반의 공동 진화 프레임워크인 CoCoEvolve를 제안합니다. 학습 및 테스트 시점에 일대일 대응 관계를 정의하여 추가 주석 없이도 모델의 표현 성능을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기차트 이미지, 정형 데이터 (tabular data), 그리고 시각화 코드 (visualization code)가 다양한 도메인에서 점점 더 중요한 역할을 수행함에 따라, 이러한 모달리티 (modalities) 간의 교차 표현 이해 (cross-representation understanding)는 AI 시스템에 근본적인 과제를 제기합니다. 즉, 표현 간의 관계는 본질적으로 일대다 (one-to-many) 관계이며, 지도 학습 (supervision)은 모호하고 비용이 많이 들며, 모델 최적화는 특정 작업 목적을 넘어 방향 적응적 (direction-adaptive)이면서 표현 일반화 (representation-generalizable)가 가능한 원칙적인 신호가 부족합니다. 본 논문에서는 차트, 테이블, 코드 표현 간의 일관성을 향상시키기 위한 CoCoEvolve를 소개합니다. 교차 표현 매핑을 일대다 문제로 취급하는 대신, 우리는 명시적인 일대일 대응 관계를 정의하고 추가적인 주석 (annotations) 없이 표현 간의 일치 (agreement)를 사용하여 모델을 최적화합니다. 학습 과정에서 CoCoEvolve@Train은 차트-테이블-코드 사이클을 통해 공동 진화 (co-evolution)를 수행하며, CoCoEvolve@Test는 추론 시점에 동일한 일관성 목적 함수를 적용하여 테스트 시점 공동 최적화 (test-time co-optimization)를 수행합니다. 또한 우리는 6가지 모든 교차 표현 작업을 다루는 평가 스위트인 CoCoEvolve@Eval을 제시합니다. 4개의 벤치마크에 걸쳐 CoCoEvolve는 학습 시점 (training-time)과 테스트 시점 (test-time) 설정 모두에서 성능을 향상시킵니다. 프로젝트 페이지: https://xhguo7.github.io/CoCoEvolve/.