최근 대규모 언어 모델(LLM)은 단순한 텍스트 추론을 넘어 멀티모달 시스템으로 진화했습니다. 여기에 시각 인지 능력이 결합된 Vision–Language Models (VLMs), 그리고 나아가 로봇 행동 생성까지 가능한 Vision–Language–Action (VLA) 모델이 등장하며 로보틱스 AI의 패러다임을 바꾸고 있습니다.

그러나 이러한 첨단 VLA 모델을 실제 임베디드 로봇 플랫폼에 배포하는 것은 단순히 모델 크기를 줄이는(model compression) 문제가 아닙니다. 컴퓨팅, 메모리, 전력 등의 제약 조건과 실시간 제어 요구사항이 복합적으로 작용하기 때문에 아키텍처 분해(architectural decomposition), 지연 시간 인식 스케줄링(latency-aware scheduling), 그리고 하드웨어에 최적화된 실행(hardware-aligned execution)을 포함하는 복잡한 시스템 엔지니어링 과제입니다.

1. VLA 모델의 실시간 운영 및 아키텍처 고려 사항

로봇 제어 파이프라인에서 VLA가 추론(inference)을 수행하는 동안 로봇 팔은 명령을 기다리며 유휴 상태에 머무르는 것은 진동이나 지연된 보정 동작으로 이어질 수 있습니다. 이를 해결하기 위해 생성과 실행을 분리하는 비동기적 추론(asynchronous Inference)이 필요합니다. 하지만 이 방식이 효과를 발휘하려면, 전체 종단 간 추론 지연 시간(end-to-end inference latency)이 행동 실행 지속 시간보다 짧아야 한다는 제약 조건이 따르며, 이는 모델의 처리량(throughput)에 상한선을 설정하게 됩니다.

2. 고품질 데이터셋 구축 모범 사례 (Best Practices)

성공적인 VLA 정책 학습은 양적으로 많은 '지저분한' 데이터보다 질적으로 일관된 '고품질' 데이터에서 나옵니다. NXP는 다음과 같은 엄격한 가이드라인을 제시합니다:

• 카메라 및 환경 고정: 카메라 마운트는 반드시 견고하게 고정하여 로봇 진동이나 작업자 개입으로 인한 자세 드리프트(pose drift)를 방지해야 합니다.
• 조명 통제: 일광 변화에 영향을 받지 않도록 조명을 최대한 제어할 수 있는 환경을 구축하고, 고정된 광원(Fixed light source)을 사용해야 합니다.
• 대비 극대화 (Contrast): '흰색 위의 흰색'과 같은 낮은 대비의 장면은 훈련 데이터로 피하는 것이 좋습니다. 로봇 팔, 물체, 주변 환경 간의 명암 대비를 최대화해야 합니다.
• 데이터 무결성 유지: 모델이 추론 시 접근할 수 없는 정보를 데이터 기록 과정에서 사용해서는 안 됩니다(Do not cheat). 오직 런타임에 정책이 사용할 카메라 입력으로만 데이터 수집을 제한해야 합니다.

3. 최적의 데이터 다양성 확보 전략

데이터셋은 단순한 장면 뷰를 넘어 다양한 시점과 상황을 포괄해야 일반화 성능(generalization)을 높일 수 있습니다. 특히, **그리퍼 장착 카메라(gripper-mounted camera)**는 정밀 조작 작업에서 성공률을 꾸준히 향상시키는 핵심 요소이며, 오퍼레이터가 로봇의 인지에만 의존하도록 강제하여 데이터 기록 관행 준수에 가장 효과적입니다.

• 다양한 에피소드 분포: 작업 공간을 여러 클러스터로 분할하고 각 클러스터당 최소 10개 이상의 시작 위치(starting-position)에서 데이터를 기록해야 합니다. 물체의 위치와 회전 변화를 주어 다양성을 확보하는 것이 중요합니다.
• 훈련/검증 세트 분리: 모델의 과적합(overfitting)을 방지하기 위해 검증 세트는 훈련 과정에서 절대 노출되지 않은 데이터로 구성되어야 합니다. (예: 전체 클러스터 중 일부를 제외)
• 최대 움직임 기록: 작은 VLA 모델은 보지 못한 동작에 대한 일반화 능력이 제한적이므로, 자유도(degrees of freedom)의 넓은 범위를 포괄하는 에피소드를 최대한 많이 기록해야 합니다.
• 실패 및 복구 시나리오 반영 (Anticipate failure): 정책이 처음부터 물체에 도달하지 못하고 '되돌아가야 하는' 상황을 대비하여, 전체 데이터셋의 약 20%를 이러한 복구 에피소드(recovery episodes)로 할애하는 것이 전반적인 성공률 향상에 큰 도움이 됩니다.

NXP는 이러한 모범 사례와 함께, NXP i.MX 95 SoC에서 최적화된 VLA 모델이 실시간으로 작동하는 성능을 입증했습니다.