Frozen Geometry: 다양한 모달리티 간 고정된 텍스트 사전 학습 트랜스포머 가중치 계산적 재사용

요약

본 기술 기사는 텍스트 토큰으로 사전 학습된 고정(Frozen) Gemma 4 31B 트랜스포머 가중치를 활용하여, 별도의 훈련 가능한 인터페이스를 통해 다양한 모달리티 간의 경계를 넘어 지식을 전이하는 방법을 제시합니다. 이 접근 방식은 로봇 조작 작업(OGBench 등)에서 기존 최고 성능 기록을 능가하는 성과를 달성하며, 특히 기지판(baseboard)이 결코 본 적 없는 새로운 작업에서도 우수한 성능을 보여주었습니다. 또한, 구조적 분석 및 아블레이션 연구를 통해 모델의 특정 헤드와 스케일링 방법론이 모달리티 간 지식 전이에 핵심적인 역할을 함을 입증했습니다.

핵심 포인트

• 고정된 텍스트 사전 학습 가중치(Frozen Gemma 4 31B)를 활용하여 다양한 모달리티 작업에 대한 성능 향상을 달성함.
• 로봇 조작 태스크(OGBench 등)에서 기존 SOTA 기록을 능가하는 높은 성능을 입증하며, 새로운 환경에서도 일반화 능력을 보여줌.
• 훈련 가능한 인터페이스와 구조적 분석을 통해 모델의 특정 헤드 및 스케일링 방법론이 모달리티 간 지식 전이에 결정적인 역할을 함을 밝힘.
• 제시된 접근 방식은 단일 모델 기반이며, 교차 모달리티 결과는 각 벤치마크 내에서 독립적인 작업으로 처리됨.