우리는 LongBanana를 소개합니다. 이는 에이전트 기반(agent-driven) 이미지 생성 시대에 등장한, 장문맥 다중 참조 이미지 합성(long-context multi-reference image synthesis)을 위해 최초로 설계되고 전문가가 검증한 벤치마크입니다. 이 작업은 분산된 시각적 증거를 검색하고, 방해 요소(distractors)를 거부하며, 개체와 관계를 결합하고, 여러 참조 자료로부터 하나의 일관된 최종 이미지를 구성하는 것을 요구합니다.
LongBanana는 3x3 분류 체계에 따라 조직된 90개의 세심하게 설계된 태스크로 구성되어 있습니다. 각 태스크에는 약 32개의 참조 이미지, 20개의 제약 조건(constraints), 그리고 50개의 평가 항목이 포함되며, 총 4,670개의 전문가 지정 원자적 평가 항목을 산출합니다. 이 그래프 기반 평가 설계는 각 태스크에 참조 이미지를 포함한 개체-관계 그래프(entity-relation graph)를 구성한 다음, 노드, 엣지, 전체 그래프의 의무 사항들을 콘텐츠 충실도(Content Fidelity), 관계 결합(Relational Binding), 그리고 전역 제약 만족(Global Constraint Satisfaction)을 위한 체크리스트 항목으로 변환합니다. 검토된 전문가 레이블에는 정확 일치율이 89.4%이고 이차 가중 카파(quadratic weighted kappa)가 0.83인 15%의 이중 라벨링 하위 집합이 포함되어 있습니다.
나아가, 우리는 장기 지평 이미지 생성을 위한 에이전트 탑재 프레임워크(agent-harness framework)인 LongBanana-Gen을 소개합니다. 실험 결과에 따르면, 최소한의 에이전트 탑재가 직접적인 생성보다 개선된 성능을 보였으며, ReAct-Plan-Exec-Reflect (RPR) 워크플로우는 증거 기반화(evidence grounding)와 복구(repair)를 강화함으로써 탑재 의존적 이득(harness-dependent gains)을 제공했습니다. 종합적으로 LongBanana는 밀도 높은 시각적 증거 사용을 측정할 수 있는 감사 가능한 테스트베드(auditable testbed)를 제공하며, 더 강력한 에이전트 기반 이미지 생성 시스템 개발을 위한 공유 목표점 역할을 합니다. 코드와 데이터는 프로젝트 페이지 https://long-banana.com/에서 이용 가능합니다.