좋은 모델이 좋은 시스템을 의미하지 않는 이유: AI 비전 기술이 연구실을 벗어날 때 달라지는 것들

데모에서 잘 작동하는 비전 모델은 문제의 일부만 해결한 것입니다. Solomon Technology Corp.의 프로젝트 매니저인 Lê Thái Sơn은 나머지 부분을 "산업용 AI 엔지니어링"이라고 부르며, 이것이 해당 분야와 AI 연구 사이의 주요 차이점이라고 말합니다. 그는 공장 자동화를 위해 10년 동안 AI 비전 및 로봇공학 분야에서 일해 왔습니다.

그가 참여한 에피소드 'AI 기반 로보틱스: 물리적 AI(Physical AI)와 체화된 AI(Embodied AI)가 우리의 삶과 업무 방식을 어떻게 변화시킬 것인가'에는 코드, 프레임워크 이름 또는 벤치마크가 포함되어 있지 않습니다. 이 발표는 데모에서는 좋아 보이지만 공장 현장에서 어려움을 겪는 모델들이 왜 그런지 시스템 수준의 관점을 제공합니다. 본 기사는 그 관점을 엔지니어들을 위해 요약한 것입니다. 에피소드를 넘어선 내용은 제가 직접 구성한 내용입니다.

파이프라인: 인식(Perception), 인지(Cognition), 행동(Action)

Sơn은 혼합된 제품 상자에서 로봇이 물건을 집는 예시를 들었습니다:

카메라가 이미지 데이터를 포착하고, 3D 카메라는 추가적인 시각 정보를 수집합니다.
AI가 어떤 객체를 집을 수 있는지 식별합니다.
컴퓨팅 시스템이 그 위치와 방향을 결정합니다.
로봇이 적절한 궤적을 선택하여 제품을 집고 필요한 장소에 놓습니다.

그는 이것을 인식(perception), 인지(cognition), 행동(action)이라는 세 가지 핵심 구성 요소로 설명하며, 간단히 말해 보는 것(seeing), 이해하는 것(understanding), 그리고 행동하는 것(acting)입니다. 그는 이것이 체화된 AI의 기반이라고 부릅니다. 발표 전반에 걸쳐 그가 평가하는 단위는 단일 단계가 아니라 이 전체 사슬입니다.

연구실 밖에서 달라지는 점들

Sơn의 설명은 정확도가 약 80~90%인 실험실 시스템으로, "데모에서는 매우 좋아 보입니다." 하지만 공장 현장에서는 상황이 완전히 다릅니다:

조명이 바뀝니다.
카메라가 진동합니다.
환경에 먼지가 쌓입니다.
제품은 긁힘이나 변형과 함께 다양합니다.
컨베이어 속도가 일정하지 않습니다.
원래 데이터셋에 없던 제품이 나타납니다.

그는 여기서 결론을 도출한다: “좋은 AI 모델이 반드시 좋은 자동화 시스템을 의미하는 것은 아니다.” Q&A는 다른 각도에서 이 점을 반복한다. “제 모델은 99%를 달성합니다”라고 주장하는 것은 가장 흔한 실수 중 하나인데, 그 수치가 이상적인 조건 하에서만 유효하기 때문이다.

ML(머신러닝) 용어로 설명하자면, 그리고 이것이 나의 관점이다. 목록에 있는 대부분의 항목은 입력 데이터의 변화를 의미한다. 여기에는 조명 변화, 진동 및 먼지로 인한 노이즈, 분포를 벗어난 제품(out-of-distribution products), 라인 속도에 따라 변하는 타이밍 등이 포함된다. 모델의 입력이 더 이상 통제되지 않기 때문에, 깨끗한 데이터셋에서 측정된 정확도가 실제 생산 환경에서 중요한 수치가 아니다.

설계 검토 시 고려해야 할 질문들

Sơn은 정확도를 넘어선 시스템 수준의 질문들을 제시한다:

카메라는 안정적인가?
조명은 제어되는가?
처리 과정이 사이클 타임을 따라잡을 수 있는가?
로봇이 신뢰성 있게 집을 수 있는가?
AI가 불확실할 경우, 시스템은 어떻게 반응하는가?
카메라 연결이 끊기면 무슨 일이 발생하는가?

우려 사항별로 그룹화하면(다시 나의 관점), 이 질문들은 센싱 안정성, 타이밍, 구동 신뢰성, 그리고 불확실성 및 실패 상황에서의 동작을 다룬다. 첫 번째 그룹만이 모델에 관한 것이며, 마지막 두 가지는 그 영향력이 가장 적다.

지연 시간(Latency), 사이클 타임 및 엣지

Sơn은 컴퓨팅 파워를 Physical AI가 실용화된 이유 중 하나로 나열한다. 그는 한때 많은 AI 작업이 대규모 서버 시스템에서 실행되어야 했다고 말한다. 오늘날에는 엣지 장치를 포함한 소형 기기에서도 작동할 수 있으며, 엣지 AI는 공장 현장에서 매우 낮은 지연 시간으로 직접 운영된다.

이는 그의 사이클 타임 질문과 연결된다. 나의 해석으로는 추론(inference)이 어디서 실행되는지가 라인의 이동 속도와 연관된 설계 결정이라는 것이다. 이 에피소드는 여기서 더 나아가지 않으며, 지연 시간 수치는 제시하지 않는다.

모델보다 설비를 먼저 고치라

강연에서 제시된 가설이 여기에도 적용됩니다. 정확도를 95%에서 96%로 단 1포인트 올리는 것이 매우 큰 GPU 시스템과 더 복잡한 서비스 및 유지보수를 요구할 수 있습니다. Sơn은 이를 조명 재설계, 카메라 위치 변경 또는 기계적 설비 개선 등 전통적인 설정의 개선과 대조하며, 이 방법들이 훨씬 좋고 훨씬 안정적일 수 있다고 말합니다. 그의 실질적인 규칙은 AI를 개선할지 아니면 그 주변 공학을 개선할지 결정하기 전에 고객의 실제 문제가 무엇인지 묻는 것입니다.

엔지니어들에게 유용한 교훈은 센싱(sensing)과 기계 장치(mechanics)가 입력 파이프라인(input pipeline)에 속한다는 것입니다. 그것들은 우회해야 할 배경 조건이 아닙니다.

전통적인 자동화를 루프 안에 유지하기

Sơn은 대체가 아닌 균형을 주장합니다. 그는 전통적인 자동화가 안정성과 신뢰성을 계속 제공해야 하며, AI는 적응형 역량(adaptive capabilities)에 기여해야 한다고 말합니다. 제품이 무작위 위치에 놓이거나, 모양이 다양하거나, 뒤섞인 배열로 도착할 때만 자신이 프로그래밍된 대로 하는 시스템은 어려움을 겪습니다. AI 비전이 여기서 도움을 줍니다. 기존의 PLC(Programmable Logic Controller)와 산업용 로봇 제어는 여전히 시스템을 신뢰할 수 있게 만드는 요소입니다.

배포 전에 시뮬레이션하기

디지털 트윈(Digital twins)과 시뮬레이션은 에피소드의 양쪽 부분에 등장합니다. 강연에서 Sơn은 로봇 시뮬레이션 플랫폼이 팀들이 가상 공장을 구축하고, 로봇을 훈련시키고, AI 알고리즘을 배포 전에 테스트할 수 있게 하여 안정성과 안전성에 도움이 된다고 말합니다. Q&A에서는 실제 환경 조건을 반영하는 시뮬레이션으로 시스템을 운영하는 것을 설명하며, 일단 문제가 해결되면 실제 세계에 배포할 때 위험이 훨씬 적다고 합니다.

그는 또한 온도, 습도, 먼지, 연기, 진동 및 주변 자기장 등 실제 환경을 사전에 평가할 것을 권장합니다. 그의 말에 따르면, 예상할 수 있는 것이 많을수록 배포 비용과 위험을 줄일 수 있습니다.

기술(Skills)에 대한 참고 사항

Sơn은 젊은 엔지니어들에게 실용적인 조언을 건넵니다. "AI를 컴퓨터 화면만 보고 배우지 마세요." 그는 AI를 카메라, 센서, 모터와 같은 주변 장치에 연결하고, 기기에서 구동되는 로봇 시스템이나 센서 시스템을 프로그래밍하고 제어하는 방법을 제안합니다. 오직 그럴 때 비로소 "'모델이 작동한다'와 '시스템이 작동한다' 사이의 엄청난 격차"를 보게 될 것이라고 말합니다.

질의응답에서 그는 엔지니어들이 단일 전문 분야에 머무르지 말고 폭넓게 지식을 넓혀야 한다고 덧붙입니다. 하드웨어, 소프트웨어, 클라우드, 서버, 데이터베이스, 프론트엔드 및 백엔드 개발을 이해해야 하며, 현재 AI를 통해 이 모든 것을 배울 수 있다고 언급합니다.

핵심 요약

이 에피소드의 엔지니어링 주장은 단위의 변화에 달려 있습니다. 평가해야 할 것은 센서부터 액추에이터까지 전체 체인이며, 무언가 잘못되었을 때 발생하는 상황까지 포함합니다. 모델 정확도는 그 평가를 위한 하나의 입력값일 뿐입니다.
Lê Thái Sơn과 함께 전체 에피소드 시청하기