얼굴을 발견하고 뒤쫓는 능력은 이미 인간 팀이 구성한 알고리즘을 상회했다. 그런데도 옆 방으로는 스스로 도달하지 못한다.

이것이 2026년 7월 24일에 Anthropic의 Frontier Red Team이 공개한 실험 「Project Pilot」의 결론이다. 시판 가격 129달러의 드론과 15개의 프론티어 모델(Frontier Model)을 사용하여, 「AI는 물리 세계에서 사람을 추적할 수 있는가」를 정면으로 측정했다. 답은 「거의 가능하다. 단, 마지막 한 조각을 제외하고」이다.

이 기사에서는 새로운 벤치마크 「Drone-Bench」의 설계, 왜 공간 재구축(Reconstruction)만이 처참하게 어려운지, 그리고 「프론티어는 평균보다 6개월 앞서간다」는 법칙까지, 1차 정보(Primary Information)를 기반으로 깊이 있게 파헤친다.

Anthropic은 2026년 7월 24일, Frontier Red Team의 연구 프로젝트 「Project Pilot: Can AI models fly drones?」를 공개했다. 평가 파트너는 Andon Labs이다. 자율 AI 에이전트(Autonomous AI Agent)의 안전성 평가로 알려져 있으며, AI에게 자동판매기를 경영하게 한 「Project Vend」나 장기 태스크 평가 「Vending-Bench」를 만든 기업이다.

이번 실험은 2025년 11월의 「Project Fetch」(Claude가 로봇 개 조작을 어디까지 지원할 수 있는지에 대한 검증)의 후속작으로 위치한다. 다만 결정적인 차이가 있다. Project Fetch는 인간 스태프를 AI가 지원하는 구도였던 반면, Project Pilot은, AI 모델 스스로가 공중 촬영 드론을 자율 조종하여 「지정된 인물을 발견하고 추적하는」 태스크를 완수할 수 있는가를 측정한다. 즉, 감시 용도 그 자체의 능력 측정이다.

사용 기체는 DJI Tello EDU. 교육용 소형 드론으로, 소매 가격은 불과 129달러이다. 특수한 군용 하드웨어가 아니라 누구나 살 수 있는 기체로 어디까지 가능한지를 시험했다는 점이 이 실험의 섬뜩함이자 성실함이기도 하다.

Anthropic 자신은 Drone-Bench에 대한 액세스 권한을 갖지 않으며, 평가 실행은 Andon Labs 측이 담당했다. 벤치마크를 자사 모델의 학습으로부터 격리하여 평가의 독립성을 유지하기 위한 설계이다.

「사무실 내에서 지정된 인물을 찾아 추적한다」는 최종 목표는 5개의 서브 태스크(Sub-task)로 분해되었다. 5개 모두가 필요조건이며, 모두 합치면 목표 달성에 거의 충분하도록 설계되어 있다.

평가상의 장치가 두 가지 있다. 첫째, 실기(Real device)뿐만 아니라 각 태스크를 소프트웨어 상에서 재현하여 물리적 셋업 없이 반복 평가할 수 있도록 했다. 둘째, 비교 대상이 되는 베이스라인(Baseline)을 「인간과 AI 팀이 각 서브 태스크용으로 만들어낸 알고리즘」으로 설정하여, 그 베이스라인이 엔드 투 엔드(End-to-End)로 성공함을 실증해 두었다. 즉 「이 하드웨어로는 원리적으로 불가능했다」라는 변명은 처음부터 차단되어 있다.

검증된 것은 OpenAI, Google, Anthropic의 3사에 걸친 15개 모델이다. GPT-4o, o1, o3, GPT-5 계열(GPT-5.6 Sol까지), Gemini 2.5 Pro / 3.1 Pro, Claude Opus 4부터 Opus 4.8, 그리고 Fable 5까지, 2024년부터 2026년까지의 세대를 종단한다.

최고 성능은 Claude Fable 5였다. 5개의 서브 태스크 중 4개에서 인간·AI 팀의 베이스라인을 넘어섰다. 하지만 단 하나의 패배가 엔드 투 엔드 성공을 가로막았다.

실기에서의 엔드 투 엔드 검증에서는, Fable 5는 탐지와 추적에서 베이스라인을 명확히 상회하는 움직임을 보였다. 참조 사진으로부터 인물을 특정하고, 움직이는 대상을 쫓는 능력은 이제 정교하게 만들어진 전용 알고리즘에 뒤처지지 않는다.

하지만 방을 가로지르는 자율 이동에는 실패했다. 원인은 재구축(Reconstruction)의 오차다. 3D 모델의 품질이 낮으면 그로부터 생성되는 장애물 맵이 왜곡된다. 왜곡된 맵 위에서는 자기 위치 추정(Self-localization)이 어긋나고, 어긋난 위치 인식 위에서는 경로 계획(Path Planning)이 파탄 난다. 재구축 → 자기 위치 추정 → 항행이라는 직렬 파이프라인에서 오차가 복리로 증폭되는 구조로 되어 있어, 상류(Upstream)의 한 태스크 실패가 하류(Downstream)의 모든 것을 휘말리게 했다.

리포트는 이 상황을 다음과 같이 총괄하고 있다.

분명히 Fable이 방을 정확하게 재구성(Reconstruct)하지 못하는 것은 거대한 장애물이다. 하지만 다른 단계에서의 모델 능력을 고려하면, 이는 단지 '마지막으로 빠진 조각'에 불과하다.

(Fable이 방을 정확하게 재구성하지 못하는 것은 분명히 큰 걸림돌이다. 하지만 다른 단계에서의 능력을 고려하면, 그것은 단지 '마지막으로 빠진 조각'일 뿐이다.)

'아직 못한다'가 아니라 '앞으로 한 조각 남았다'. 이 표현의 선택에서 레드팀(Red Team)으로서의 위기감이 묻어난다.

탐지(Detection)와 추적(Tracking)은 1프레임 이미지에 대한 인식과 그 결과에 따른 짧은 피드백 제어로 완결된다. 현재의 멀티모달 LLM(Multimodal LLM)이 가장 잘하는 '보고 → 판단하고 → 조금 움직이는' 루프다. 오차가 발생해도 다음 프레임에서 수정할 수 있기 때문에 오류가 축적되지 않는다.

반면, 재구성(Reconstruction)은 본질적으로 다르다. 비디오 프레임 열로부터 공간의 기하학적 구조를 쌓아 올려, 일관된 3D 표현을 장시간 유지해야 한다. 이는 단발적인 인식이 아니라, 공간적인 작업 기억(Spatial Working Memory)과 정합성 관리(Consistency Management)의 문제이며, 현재의 LLM 아키텍처가 가장 어려워하는 영역이다. 1프레임의 해석 실수가 맵 전체에 고착되어 후속 태스크 모두로 전파된다.

흥미로운 점은 시계열적 경향이다. 2024년 GPT-4o 세대부터 2026년 Fable 5 / GPT-5.6 Sol 세대까지, 새로운 모델일수록 일관되게 다음 단계까지 도달하고 있으며, 능력의 진전은 착실히 쌓여가고 있다. 탐지와 추적은 세대를 거듭할수록 베이스라인(Baseline)에 수렴하며 마침내 이를 넘어섰다. 재구성만이 47%에서 정체되어 있지만, 다른 4개 태스크가 걸어온 궤적을 보면 이것이 '원리적인 벽'이 아니라 '시간 문제'로 보인다. 리포트도 다음과 같이 명시한다.

Once it's in place, end-to-end performance will suddenly be within reach.

(그것이 갖춰지는 순간, 엔드투엔드(End-to-End) 성능은 단숨에 사정권 안으로 들어올 것이다.)

또 하나, 에이전트 개발자에게 실무적으로 중요한 관측 결과가 있다.

The frontier of what models can do is about six months ahead of what they do consistently.

(모델이 '할 수 있는 것'의 프론티어(Frontier)는, '일관되게 할 수 있는 것'보다 약 6개월 앞서 있다.)

베스트 런(Best-run)에서는 성공하지만, 평균을 내면 아직 실패가 섞여 있다. 그 차이가 대략 6개월 분량의 세대 차이에 해당한다는 경험칙이다. 이는 드론에 국한되지 않고, 코딩 에이전트나 장시간 태스크를 다루는 사람이라면 누구나 체감하고 있는 현상일 것이다. 데모는 성공하지만 실전에서는 흔들린다는 고민의 정체를, Anthropic은 '프론티어와 일관성의 격차(Lag)'로서 정량적으로 언어화했다.

에이전트를 설계하는 측의 함의는 다음과 같다. 오늘 베스트 런에서 보여준 능력은 약 6개월 후에는 안정적으로 공급될 것이다. 즉, '가끔 성공한다'를 '아직 사용할 수 없다'라고 읽는 것은 **오독(Misreading)**이며, 올바르게는 '6개월 후 표준 성능의 프리뷰'라고 읽어야 한다는 뜻이다.

이 리포트는 설계가 정교한 반면, 스코프(Scope)는 의도적으로 좁다. 공정성을 위해 제약 사항을 나열해 둔다.

실내 사무실 환경에서만 수행되었으며, 실외나 군중 시나리오는 검증되지 않음
**단일 플로어 플랜(Floor plan)**에서만 평가하여 환경의 다양성이 부족함
대상자는 동의한 참가자로, 인원 및 다양성 모두 제한적임
드론의 비행 속도는 저속으로 제한됨
베이스라인은 '인간+AI 팀이 만든 알고리즘'이며, 숙련된 인간 파일럿과의 직접 비교는 아님

비판적으로 읽어야 할 점도 있다. 첫째, 점수의 상세 내역이나 로우 로그(Raw log)가 공개되지 않아, 47%나 베이스라인 초과 판정을 외부에서 재검증할 수단이 현재로서는 없다. Drone-Bench는 Andon Labs가 관리하는 비공개 평가로, 독립성 확보와 재현성 결여가 트레이드오프(Trade-off) 관계에 있다. 둘째, 이것은 능력 측정이지 대책 제시가 아니다. '감시 드론을 AI가 조종할 수 있게 되고 있다'라는 경고에 대해 구체적인 완화책은 아직 제시되지 않았다. 셋째, 5개 태스크 분할은 'locate-and-follow'라는 단순한 시나리오에 최적화되어 있어, 실제 악용 시나리오(실외, 다수 대상, 대응 수단의 존재)와의 간극이 크다.

이 리포트가 진정으로 묻고 있는 것은 드론의 성능이 아니라 감독권의 향방이다. 리포트 내에서 가장 묵직한 한 문장은 이것이라고 생각한다.

모델이 능력과 신뢰성의 임계값(예: 본 실험에서 사용한 인간-AI 팀 베이스라인)을 통과하게 되면, 인간의 감독을 안전장치(safeguard)가 아닌 비용(cost)으로 취급하려는 실질적인 압력이 발생할 것이다.

(Once models pass capability and reliability thresholds (such as the human-AI team baseline we used in this experiment), there will be real pressure to treat human oversight as a cost rather than a safeguard.)

탐지와 추적은 이미 임계값을 넘어섰다. 재구성(reconstruction) 문제만 해결된다면, 129달러짜리 하드웨어 위에서 엔드투엔드(end-to-end) 자율 추적은 '모델의 능력 문제'에서 '누가 할 것인가의 문제'로 변하게 된다. 공간 재구성은 세계 모델(world model)이나 공간 추론(spatial reasoning)으로서 프론티어(frontier) 기업들이 가장 집중하고 있는 영역이며, 6개월 지연의 법칙(6-month lag law)을 고려할 때, 이러한 변화는 5년 후가 아니라 불과 몇 세대 뒤의 모델에서도 일어날 수 있는 일이다.

Anthropic이 자사 모델의 '위험한 성공'을 선제적으로 공개하는 동기는 리포트 서두에 명확히 기재되어 있다.

Anthropic이 Frontier Red Team을 운영하는 주요 이유 중 하나는 이와 같은 능력을 측정함으로써, AI가 로봇을 자율적으로 조종할 수 있는 세상(그에 따른 모든 이점과 위험을 동반하는)에 우리가 얼마나 가까워졌는지에 대한 상황 인식(situational awareness)을 얻기 위함이다.

(A key reason why Anthropic has a Frontier Red Team is to measure capabilities like this, giving us situational awareness into how close we are to the world in which AI can autonomously pilot robots—with all the attendant benefits and risks.)

드론과 AI는 모두 이중 용도(dual-use) 기술이며, 그 교차점에 대해 "더 나은 증거를 확보하는 것이 필수적이다"라는 것이 리포트의 입장이다. 임계값을 넘은 뒤에 논의를 시작하기에는 너무 늦다. 임계값의 위치를 계속 측정하며, 임계값을 넘기 전에 "인간의 감독을 어디까지 제외할 것인가"를 의도적으로 결정해 두어야 한다. Project Pilot은 그 판단 근거를 미리 확보하기 위한 실험이다.

• 2026년 7월 24일, Anthropic의 Frontier Red Team이 Andon Labs와 공동으로 「Project Pilot」을 공개하고, 새로운 벤치마크인 「Drone-Bench」를 통해 15개 모델의 드론 자율 조종 능력을 측정했다.
• 최고 성능을 보인 Claude Fable 5는 5개의 서브 태스크 중 4개에서 인간-AI 팀의 베이스라인을 넘어섰으나, 공간 재구성이 약 47%에 그쳤으며, 오차의 복리 증폭으로 인해 방 사이의 자율 이동에는 실패했다.
• 탐지 및 추적은 이미 전용 알고리즘 수준에 도달했으며, 남은 과제는 공간 재구성이라는 하나의 조각으로 집약되었다.
• "프론티어는 일관된 성능보다 약 6개월 앞서 나간다"는 경험칙은 에이전트(agent) 개발 전반에 적용할 수 있는 실무적인 관측이다.
• 능력 임계값을 넘었을 때, 인간의 감독은 "비용"으로 취급될 압력에 직면한다. 그전에 측정과 의사결정을 마쳐두는 것이 이러한 종류의 레드팀(red team) 연구가 존재하는 의의다.

Project Pilot: Can AI models fly drones? \ Anthropic

Drone-Bench | Andon Labs

Frontier Red Team \ Anthropic

Progress from our Frontier Red Team \ Anthropic

Andon Labs