ELSA3D: 통합 3D 이해 및 생성을 위한 탄성 의미 앵커링

원문 발행 2026. 07. 08. 02:59원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

ELSA3D는 언어적 추론과 기하학적 추론을 공동으로 구조화하는 통합 3D 파운데이션 모델입니다. 기존 방식의 한계를 극복하기 위해 '탄성 의미 앵커링' 메커니즘을 도입했습니다. 이를 통해 이미지-대-3D, 텍스트-대-3D 생성 및 3D 캡셔닝 전반에서 최신 성능과 효율성을 동시에 달성합니다.

핵심 포인트

ELSA3D는 언어와 기하학적 추론을 공동 구조화하는 통합 3D 모델입니다.
탄성 의미 앵커링(elastic semantic anchoring)으로 모달리티 간의 연결을 강화했습니다.
스케일 인식 오크트리 토크나이저를 사용하여 기하학적 표현에 정교함을 더했습니다.
FLOPs와 추론 지연 시간을 절반가량 줄이며 강력한 성능을 보여줍니다.

통합 3D 파운데이션 모델(foundation models)은 단일 백본(backbone) 내에서 언어를 통해 3D 에셋을 생성하고 그에 대해 추론하는 것을 목표로 하지만, 이들의 텍스트-3D 상호작용은 여전히 상당 부분 암시적입니다. 기존 방법들은 텍스트와 3D 토큰을 평면적인 시퀀스(sequence)로 연결하여 자체 어텐션(self-attention)에 의존하며, 이는 거친 구조적 단서(coarse structural cues)와 미세한 기하학적 디테일(fine geometric details)을 하나의 구별되지 않은 표현으로 붕괴시킵니다. 우리는 탄성 의미 앵커링(elastic semantic anchoring)을 통해 이를 해결하는 통합 3D 모델 ELSA3D를 소개합니다. 이는 언어적 추론과 기하학적 추론을 일치된 추상화 스케일(matched abstraction scales)을 따라 공동으로 구조화합니다. ELSA3D는 스케일 인식 오크트리 토크나이저(scale-aware octree tokenizer)로 기하학을 표현하며, 의미적 단서(semantic cues)를 선택하고, 이를 가장 관련성 높은 3D 스케일로 라우팅(route)하여, 해당 스케일에 특화된 기하학적 증거(geometric evidence)를 검색한 다음, 이 융합 신호(fused signal)를 통합 표현에 다시 기록하는 희소한 교차 모달 유닛인 앵커 토큰(Anchor Tokens)을 도입합니다. 경량의 블록별 라우터(per-block router)는 계산과 추론 모두를 탄성적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 교차 모달 용량이 가장 필요한 곳에 집중되도록 합니다. ELSA3D는 이미지-대-3D 생성, 텍스트-대-3D 생성, 그리고 3D 캡셔닝 전반에 걸쳐 최신 성능을 달성하며, 동일 모델의 비(非)탄성 버전 대비 FLOPs와 추론 지연 시간(inference latency)을 절반가량 줄이면서 가장 강력한 통합 기준선(unified baseline)을 능가합니다.

AI 자동 생성 콘텐츠

원문 바로가기

ELSA3D: 통합 3D 이해 및 생성을 위한 탄성 의미 앵커링

요약

핵심 포인트

댓글