가르칠 수 있는 범위를 넘어 검색하기: 에이전트 기반 시각적 생성 (Agentic Visual Generation)에서의 지식 경계 진화
요약
시각적 생성기가 학습 데이터에 없는 새로운 정보를 생성할 때 발생하는 지식 경계 문제를 해결하기 위한 연구입니다. '가르친 후 검색하는(teach-then-search)' 공동 학습 프레임워크를 통해 검색 도구를 활용한 에이전트 기반 시각적 생성의 성능을 개선합니다.
핵심 포인트
- 기존 시각적 생성기의 지식 한계와 성능 붕괴를 보여주는 SearchGen-Bench 구축
- 단순 검색이 오히려 노이즈를 유발하는 문제점 지적
- 내재 지식과 외부 컨텍스트를 구분하는 '가르친 후 검색하는' 공동 학습 제안
- 재귀적 자기 개선이 가능한 도구 증강 시각적 생성 토대 마련
시각적 생성기 (Visual generators)는 렌더링에는 뛰어나지만, 자신이 알지 못하는 내용을 자신 있게 꾸며내곤 합니다. 사용자의 요청은 무한하고, 진화하며, 매우 긴 꼬리 (long-tailed) 분포를 가집니다: 새로운 캐릭터, 트렌드 엔티티, 데이터 차단 시점 (post-cutoff) 이후의 사건 등이 이에 해당합니다. 이러한 세상 지식의 병목 현상은 구조적입니다. 생성기는 고정된 코퍼스 (corpora)로 학습되지만, 시각적 세계는 개방적이기 때문입니다. 우리는 12개의 실패 카테고리와 22개의 도메인에 걸친 20,839개의 프롬프트로 구성된 SearchGen-20K와 SearchGen-Bench를 구축하였으며, 오프라인에서 재현 가능한 연구를 지원하기 위해 사전에 실행된 멀티모달 SearchGen-Corpus-1M을 함께 제공합니다. SearchGen-Bench에서 최첨단 오픈 생성기들은 100점 만점에 21점에서 28점에 불과한 점수를 기록했으며, 이는 기존 벤치마크에서는 보이지 않았던 40점 차이의 성능 붕괴를 나타냅니다. 자연스러운 해결책은 검색 도구 (search tools)를 사용하여 에이전트 기반 시각적 생성 (agentic visual generation)을 가능하게 하는 것입니다. 그러나 우리는 단순한 검색이 실패한다는 것을 발견했습니다. 검색이 무분별하게 이루어져, 생성기가 이미 처리할 수 있는 프롬프트에 노이즈를 주입하기 때문입니다. 우리는 그 근본 원인을 생성기 특유의 진화하는 지식 경계 (knowledge boundary), 즉 생성기가 학습을 통해 내재화할 수 있는 것과 외부 컨텍스트 (external context)로 남아 있어야 하는 것 사이의 경계에서 찾았습니다. 이 경계는 사전에 정의하기 어렵지만, 우리는 '가르친 후 검색하는 (teach-then-search)' 공동 학습 (co-training) 프레임워크를 통해 이를 발견할 수 있음을 보여줍니다. 이 공동 학습 레시피의 최소 버전만으로도 단조로운 개선 (monotonic improvement)이 나타나며, 이는 세상 지식에 근거한 요청을 충족할 수 있는 시각적 생성의 재귀적 자기 개선 (recursive self-improvement)을 위한 토대를 마련합니다. 우리는 도구 증강 (tool-augmented) 및 세상 지식에 근거한 시각적 생성을 위한 재현 가능한 하네스 (harness)로서 전체 데이터셋, 공동 학습 코퍼스, 그리고 검색 코퍼스를 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기