HexaShell, 비전-언어 모델(VLM)을 코딩에 활용하다
스스로 수정 코드를 작성하는 로봇
"로봇이 첫 번째 파지 실패 후 자체적으로 수정을 작성했습니다." – HexaShell 프로젝트 선임 분석가, 2026년 10월
취리히의 조용한 실험실 책상 위에서, 이중 팔(dual-arm) 로봇이 빨간 블록을 집으려 했으나 실패했고, 짧은 오류 로그를 스트리밍한 뒤, 인간이 키보드를 만지지 않았음에도 불구하고 실수했던 부분을 수정하는 새로운 Python 스타일 코드를 생성했습니다. 이 로봇은 운이 좋았던 것이 아니라, 실제 환경에서의 조작을 위해 비전-언어 모델(VLM)을 풀스택 코딩 에이전트처럼 작동하도록 강제하는 "얇은 하네스(thin harness)"인 _HexaShell_을 구동하고 있었기 때문입니다.
HexaShell은 이전의 "하네스" 논문들이 추가했던 모든 편의 계층을 제거합니다. 사전 계산된 깊이 맵(pre-computed depth maps)도, 외부 플래너(external planners)도, 선별된 액션 어휘집(curated action vocabularies)도 없습니다. VLM은 원시 RGB 이미지를 받고, 실행 가능한 로봇 코드를 작성하며, 로봇의 로그를 읽고 반복합니다. 그 결과는 컴파일-실행-디버그라는 과정을 금속 팔다리 위에서 펼쳐내는, 간소화된 소프트웨어 개발 주기처럼 보입니다.
이 실험은 VLM 기반 에이전트가 클래식 조작 벤치마크(classic manipulation benchmarks)에서 학습된 정책에 필적하거나 능가하는 시점에 도달했습니다. 연구자들은 이제 다음 영역을 추구하고 있습니다: 무거운 미들웨어 없이 "텍스트 코드"를 "물리적 움직임"으로 루프를 닫는 것입니다. HexaShell이 그 측정 기준(measuring stick)을 제공합니다.
아래에서는 HexaShell의 기술적 구조를 자세히 설명하고, 2026년 9월에 발표된 수많은 하네스 논문들과 비교하며, 초기 수치들이 제품 로드맵, 연구 방향, 그리고 광범위한 AI-로보틱스 생태계에 어떤 의미를 가지는지 강조합니다.
사례 연구: 로봇이 자체적으로 디버깅하는 피킹 및 배치(Pick-and-Place)
혼잡한 트레이에서 파란 실린더를 좁은 슬롯으로 옮기는 임무를 받은 로봇을 상상해 보십시오. 실험실의 카메라 장치는 세 개의 교정된 RGB 뷰를 VLM에 스트리밍합니다. VLM은 다음 코드 조각을 생성하여 HexaShell의 API로 전송합니다:
# HexaShell generated script
move_to(0.42, -0.11, 0.23) # approach the tray
grasp()
...
HexaShell은 각 기본 동작(primitive)을 구문 분석하고, 이를 관절 궤적으로 변환한 다음 움직임을 실행합니다. 로봇의 그리퍼가 닫히지만, VLM이 RGB 피드에서 물체의 깊이를 잘못 추정했기 때문에 실린더가 미끄러져 나옵니다. 로봇은 관절 각도, 파지 순간의 이미지, 그리고 오류 코드(GRASP_FAILURE)를 포함하는 로그 파일을 스트리밍합니다.
VLM은 이 로그를 읽고, 짧은 내부 추론 과정(“파지에 실패함 → 깊이 과소평가 가능성 높음 → 접근 높이 증가”)을 거친 후, 수정된 스크립트를 응답으로 제공합니다:
move_to(0.42, -0.11, 0.27) # 접근 높이를 4cm만큼 올림
grasp()
lift(0.12)
...
HexaShell은 새로운 코드를 실행하고, 로봇은 두 번째 시도에서 성공합니다. 이 전체 상호작용은 10초가 채 걸리지 않았으며, 이는 인간 프로그래머의 편집-컴파일-실행(edit-compile-run) 루프를 반영하는 자가 디버깅을 보여줍니다—다만 “컴파일러”가 물리적인 로봇이라는 점이 다릅니다.
이 사례 연구는 HexaShell이 모든 VLM에 강제하는 세 가지 핵심 속성을 보여줍니다:
- 원시 인식(Raw perception) → 3차원 추론: 오직 RGB 데이터만을 사용하여 수행합니다.
- 완전한 코드 합성(Full code synthesis): 미리 정의된 행동 집합 없이 코드를 생성합니다.
- 구조화된 로그 기반의 반복적 오류 수정(Iterative error correction): 구조화된 로그를 바탕으로 지속적으로 개선합니다.
이러한 제약 조건들은 VLM의 진정한 코딩 역량과 그 사각지대를 드러냅니다.
수치, 벤치마크 및 그 의미
| 벤치마크 | 작업 유형 | 시도 ≤ 3회 성공률 | 시도 ≤ 5회 성공률 |
|---|
| RLBench – Pick-Place | 단일 객체 재배치 | 78 % | — |
| ... | | | |
“HexaShell의 VLM은 RLBench pick-place에서 세 번의 시도 후 78%의 성공률을 달성했는데, 이는 특권 상태 데이터(privileged state data)를 사용하는 정책 기울기 기반 기준 모델(policy-gradient baselines)에 필적하는 수치입니다.”
이 수치가 중요한 이유
- 깊이 이미지와 객체 자세 주석(object pose annotations)을 받는 최첨단 모델 프리(model-free) 정책들은 동일한 pick-place 작업에서 일반적으로 **80–85 %**의 성공률을 보고합니다.
- HexaShell은 VLM에게 원시 RGB로부터 기하학적 구조를 추론하도록 강제하여, 이 격차를 한 자릿수(single-digit) 차이로 좁혔습니다. 이는 VLM이 이미 강력한 공간 추론 능력을 가지고 있음을 입증하는 증거입니다.
실패 모드 (Failure Modes) (배경 정보 포함)
| 실패 모드 | 전체 실패 중 비중 | 중요성/영향점 |
|---|
| 공간 추론 오류 (깊이 오추정) | ≈ 30 % | 충돌 또는 물체 파지 실패로 이어집니다. RGB만 사용할 경우 가장 큰 병목 현상입니다. |
| ... | | |
제거 분석 통찰 (Ablation Insight)
VLM과 로봇 사이에 **학습된 동작 계획기(learned motion planner)**를 추가하면 RLBench 성공률이 **≈ 90 %**까지 높아지지만, 이 계획기가 이제 공간 추론의 대부분을 담당하게 됩니다. 따라서 HexaShell의 얇은 구조(thin harness)는 VLM의 내재적(intrinsic) 코딩 능력을 측정하는 적절한 탐침 역할을 유지합니다.
전환점: 위험 요소, 우선순위 및 구체적인 완화 방안
| # | 위험 요소 (Risk) | 우선순위* | 완화 방안 (Mitigation) (구체적 단계) |
| :--- | :--- | :--- |
| 1 | 필터링되지 않은 명령어 권한 – 임의의 move_to() 명령이 팔을 사람이 점유한 구역으로 이동시킬 수 있습니다. | 높음 | 실행 전에 모든 기본 동작(primitive)을 관절 제한, 충돌 지도 및 속도 상한선과 비교하여 검증하는 **실시간 안전 래퍼(real-time safety wrapper)**를 배포해야 합니다. |
| ... |
*우선순위는 안전 영향력과 구현 용이성을 기반으로 합니다.
전망: 얇은 구조에서 산업용 스택으로
-
제품 통합 (Product Integration) – 내부 로봇 군단에 사용할 HexaShell 호환 SDK를 구축해야 합니다. 이 SDK는 단일 run("<code">") 호출, 구조화된 로그 형식, 그리고 안전 래퍼(safety wrapper)를 노출해야 합니다. 초기 사용자들(R&D팀, 신속 프로토타이핑 팀)은 모션 파이프라인을 재작성할 필요 없이 어떤 VLM(Claude-V, Gemini-V 또는 향후 멀티모달 모델 등)이라도 플러그인 할 수 있습니다.
-
R&D 투자 (R&D Investment) – 로봇 중심 코퍼스(조립 매뉴얼, CAD 도면, 모션 프리미티브 문서 등)로 VLM을 **파인튜닝(fine-tune)**하는 데 자원을 할당해야 합니다. 이 얇은 하네스(thin harness)는 어떤 개선점도 증폭시키는데, 왜냐하면 VLM이 보상하기 위해 학습된 정책에 의존할 수 없기 때문입니다.
-
생태계 포지셔닝 (Ecosystem Positioning) – 대부분의 경쟁사들은 VLM의 순수 코딩 한계를 숨기는 ‘의미론적(semantic)’ 하네스를 출시하고 있습니다. 저희는 **진단 우선 접근 방식(diagnostic-first approach)**을 주창함으로써, 학술 연구와 제품 위험 평가 모두에 정보를 제공하는 독특한 측정 역량을 주장할 수 있습니다.
-
장기 비전 (Long-Term Vision) – HexaShell의 얇은 하네스를 **모듈식 검증 계층(modular verification layer)**과 결합하여, 생성된 스크립트를 실제 실행 전에 고충실도 시뮬레이션에서 구동합니다. 이 검증 단계는 안전망을 추가하는 동시에 핵심 아이디어를 유지합니다: VLM이 코드를 작성하고, 로봇이 이를 실행하며, VLM이 결과를 읽습니다.
업계 독자를 위한 요점 (Takeaway for Industry Readers)
HexaShell은 어떤 VLM이라도 즉시 완벽한 로봇 프로그래머로 변신시키는 마법 같은 도약을 약속하지 않습니다. 대신, 아무런 지지대(crutches)도 제공하기를 거부함으로써 현재 멀티모달 모델의 진정한 한계를 드러냅니다. 초기 수치들—피킹-배치에서 78% 성공률, 문 열기에서 62% 성공률—은 VLM이 이미 원본 이미지로부터 깊이, 기하학, 타이밍에 대해 추론하도록 강요받을 때조차 표준 작업에서는 전문화된 정책과 경쟁하고 있음을 보여줍니다.
실패 모드들—깊이 오추정(depth mis-estimation), 시간적 순서 오류(temporal ordering slips), 토큰 제한(token limits)—은 명확한 연구 의제를 제시합니다: 더 나은 시각적 접지(visual grounding), 계층적 스크립트 생성, 그리고 경량 외부 메모리입니다.
회로를 통해 로봇 동작을 빠르게 프로토타이핑하려는 기업들을 위해 HexaShell은 매력적인 “코드 우선(code-first)” 워크플로우를 제공합니다. 목표를 자연어로 설명하고, VLM이 스크립트를 생성하게 한 다음, 로봇이 실행하는 것을 지켜보고, VLM이 스스로 디버깅하도록 할 수 있습니다. 안전에 매우 중요한 배포 환경의 경우, 이 얇은 하네스(thin harness)는 액추에이터에 도달하기 전에 모든 기본 동작을 확인하는 강력한 샌드박스를 요구합니다.
실행 단계: 이 접근 방식을 파일럿 테스트해보고 싶으시다면, 조기 액세스 SDK 자격 증명과 샌드박스 데모 환경을 받기 위해 당사의 로보틱스 혁신팀에 문의하십시오.
다음 제목은 아마도 “Vision-Language Model이 실시간으로 자체 어셈블리 오류를 수정하다”일 것입니다. 그 미래는 오늘 실험실 벤치 위에서 전개되는 미니멀하고 투명하며 데이터 기반의 실험에서 시작됩니다.