회복력 있는 시각 에이전트를 위한 패턴 언어

요약

본 논문은 멀티모달 파운데이션 모델을 기업 환경에 통합할 때 발생하는 근본적인 소프트웨어 아키텍처 문제를 다룹니다. 특히, 높은 지연 시간과 비결정론적 특성을 가진 시공간 언어 행동(VLA) 모델의 출력을 실시간 및 결정론이 요구되는 기업 제어 루프에 적용하는 것이 핵심 과제입니다. 이를 해결하기 위해, 연구진은 빠른 결정론적 반사 작용과 느린 확률적 감독을 분리하는 '시각 에이전트를 위한 아키텍처 패턴 언어'를 네 가지 설계 패턴(하이브리드 어포던스 통합, 적응형 시각 앵커링, 시각 계층 합성, 의미론적 시나그래프)으로 제안합니다.

핵심 포인트

• 멀티모달 파운데이션 모델을 기업 환경에 적용할 때 아키텍처 설계가 주요 도전 과제이다.
• VLA(시공간 언어 행동) 모델의 높은 지연 시간과 비결정론적 특성을 실시간 제어 루프에 통합하는 것이 핵심 문제다.
• 본 연구는 빠른 결정론적 반사 작용과 느린 확률적 감독을 분리하는 아키텍처 패턴 언어를 제시한다.
• 제안된 네 가지 설계 패턴은 하이브리드 어포던스 통합, 적응형 시각 앵커링, 시각 계층 합성, 의미론적 시나그래프이다.