「중간 생략」의 철학

자전거 초보자는 "오른쪽으로 기울어짐 → 핸들을 오른쪽으로 꺾어야 함 → 하지만 너무 많이 꺾으면..."이라며 단계적으로 생각하지만, 숙련자는 아무 생각 없이 몸이 알아서 균형을 잡는다. 시각 입력부터 근육 제어까지, 중간의 "언어화된 사고"를 거치지 않고 직접 연결되어 있다——이것이 엔드투엔드 (End-to-End, E2E) 학습의 본질이다.

엔드투엔드란 무엇인가

엔드투엔드 학습은 입력(센서 데이터)부터 출력(제어 신호)까지 하나의 뉴럴 네트워크 (Neural Network)로 직접 학습하는 수법이다. 기존의 모듈러 접근 방식 (Modular Approach) (카메라 이미지 → 객체 탐지 → 세그멘테이션 → 경로 계획 → 제어와 같이 각 단계를 독립된 모듈로 처리하는 방식)과 달리, 중간 표현을 네트워크 내부에 암묵적으로 갖게 한다.

엔드투엔드의 역사

1988년, CMU의 ALVINN이 사상 최초의 E2E 자율주행을 실현했다. 2016년, NVIDIA는 CNN 기반의 E2E로 교외 도로, 고속도로, 주차장이라는 다양한 환경에서의 차선 유지를 성공했으며, 네트워크가 "도로의 에지(Edge)", "차선 마커"를 인간의 지시 없이 자동으로 학습하고 있었음을 Grad-CAM으로 확인했다. 2023년, Tesla FSD v12는 "99%가 뉴럴 네트워크, C++ 코드는 1% 이하"라고 발표되었으며, 8대의 카메라 영상으로부터 Transformer 기반의 거대 네트워크가 직접 스티어링, 액셀, 브레이크를 출력하게 되었다.

엔드투엔드의 장점과 과제

장점은 인간의 설계 편향 (Design Bias)을 배제할 수 있다는 것(예상치 못한 물체나 상황에도 데이터로부터 대응 가능), 각 모듈의 정밀도가 아닌 최종 태스크의 성공만으로 일관되게 최적화할 수 있다는 것, 인간이 깨닫지 못하는 숨겨진 상관관계를 자동 발견할 수 있다는 것, 그리고 구현이 단순해진다는 것이다.

반면 과제도 크다. E2E는 방대한 데이터를 필요로 하며(Tesla는 100만 대 이상의 차량으로부터 수십억 마일 분량의 데이터를 수집하고 있다), 네트워크가 블랙박스이기 때문에 "왜 이 행동을 선택했는가"에 대한 **해석성 (Interpretability)**이 부족하여 실패 원인 특정이나 부분적인 개선이 어렵다. 자율주행과 같은 안전 크리티컬 (Safety-critical)한 용도에서는 많은 국가의 규제가 "설명 가능성"을 요구하고 있어, 순수한 E2E로는 이를 충족하기 어렵다는 문제도 있다.

하이브리드 접근 방식: 양자의 장점 취하기

Waymo는 완전한 E2E가 아니라, 지각(객체 탐지, 세그멘테이션)만 E2E로 고성능화하고 경로 계획 및 제어는 기존 알고리즘으로 안전성을 보장하는 부분적 E2E를 채택하고 있다. Tesla FSD v12도 형식적으로는 하나의 네트워크이지만, 실제로는 Bird's Eye View 생성 → 궤적 예측 → 최적 궤적 선택 → 제어라는 암묵적인 모듈 구조를 내부에 가지고 있다.

MESA가 권장하는 것도 이와 유사한 하이브리드다. 지각은 E2E(고성능이 중요), 전략은 LLM + 모듈러(해석성이 중요), 제어는 E2E(부드러움이 중요), 안전성은 룰 베이스 (Rule-based, 보장이 중요)——역할에 따라 나누어 사용한다. 창고 내비게이션 비교 실험에서는 모듈러가 성공률 85%·충돌률 3%, 순수 E2E가 성공률 92%·충돌률 1.5%(단, 훈련 시간은 2배 이상), 그리고 MESA 방식의 하이브리드가 성공률 94%·충돌률 0.5%로 가장 균형 잡힌 결과를 보여주었다.

결론: 최적해는 「구분하여 사용하기」

엔드투엔드 학습은 인간의 설계 편향을 배제하고 구현을 단순하게 만들지만, 방대한 데이터와 낮은 해석성이라는 대가를 수반한다. 모듈러 접근 방식은 디버깅이 용이하고 안전성을 보장하기 쉽지만, 인간의 설계에 의존한다. MESA의 철학은 하나의 수법에 고착되지 않는 것——지각은 E2E, 전략은 LLM, 제어는 E2E, 안전성은 룰 베이스와 같이 적재적소에 조합하는 것이다. Tesla처럼 극한까지 E2E를 밀어붙이는 길도, Waymo처럼 모듈러와의 균형을 맞추는 길도, 어느 쪽이 "옳다"가 아니라 둘 다 "유효"한 것이다.

칼럼: 뇌의 「엔드투엔드」 — 기저핵의 역할

인간 뇌의 **기저핵 (Basal Ganglia)**은 습관적인 행동이나 숙련된 동작을 의식적인 사고를 거치지 않고 처리한다. 운전 초보자는 전두엽이 "미러 확인 → 방향지시등 → 핸들"과 같이 각 단계를 의식적으로 실행하지만, 숙련자는 기저핵이 시각 입력으로부터 매끄러운 운전으로 무의식적으로 처리한다——이것은 바로 E2E 학습이다. 의식(모듈러 사고)은 새로운 상황에 강하지만 느리고, 무의식(E2E)은 기지의 상황에서 빠르지만 유연성이 부족하다. 인간의 뇌는 양쪽을 구분하여 사용하고 있으며, AI도 그렇게 해야 한다.

토론 (Discussion)