10월 13일, 오후 11시 45분경, 한 테슬라 차량이 캘리포니아 I-80 고속도로에서 폐쇄된 차선을 통과했습니다. 이 차량은 앞서 발생한 사고로 인해 정차해 있던 주 방위대(highway patrol) 차량을 들이받았습니다. 두 명의 경찰관이 부상을 입었습니다. 운전자는 22세로, 경찰에 자신이 졸았으며 차량이 FSD 상태였다고 진술했습니다. 경찰은 FSD가 실제로 작동했는지 확인하지 못했습니다.
FSD는 Full Self-Driving을 의미합니다. 전체 제품명은 "Full Self-Driving (Supervised)"입니다. 여기서 중요한 단어는 괄호 안에 있는 내용입니다.
요약: 인간은 거의 항상 옳은 기계를 계속 감시할 수 없습니다. 우리는 이것을 1983년부터 알고 있었습니다. 숫자는 도로와 코딩 에이전트를 통해 이를 확인시켜 줍니다. Anthropic에서는 테스트를 거치면서 세션 초기에 위험한 명령어의 17%를, 그리고 50개의 프롬프트 이후에는 약 5%를 포착합니다. 모든 행동을 승인한다고 해서 보호받는 것은 아닙니다. 제어권을 시스템에 맡기십시오: 차단하는 규칙, 읽을 수 있는 추적 기록, 손이 닿지 않는 사본이 필요합니다.
이 글은 AI 에이전트가 행동하도록 허용하고, 그들을 감시할 인간에게 의존하는 개발자 및 사업주를 위한 것입니다.
"Supervised"는 당신이 지켜보고 있다는 의미입니다
테슬라는 2024년 3월 말에 제품명을 변경했습니다. "FSD Beta"가 "FSD (Supervised)\
1983년, 심리학자 Lisanne Bainbridge가 "자동화의 역설(Ironies of Automation)"이라는 짧은 논문을 발표했습니다. 이 글은 여전히 광범위하게 인용되고 있습니다. 그 아이디어는 두 문장으로 설명할 수 있습니다.
우리가 자동화를 구현하면 인간에게 남겨지는 유일한 임무는 기계를 관찰하고 고장이 날 때 개입하는 것입니다. 이것이 바로 인간이 가장 서투른 작업입니다.
그녀는 1950년대의 연구를 바탕으로 논지를 전개합니다. 동기 부여가 되어 있어도, 아무 일도 거의 일어나지 않는 것에 효과적인 주의(attention)를 반 시간 이상 유지하기는 어렵습니다. 그리고 기계가 오랫동안 잘 작동할수록 사람들은 그것을 덜 관찰하게 됩니다.
최근 연구들도 같은 내용을 보여줍니다. 2024년, 미국의 도로 안전 기관인 IIHS는 Autopilot을 사용하는 테슬라(Tesla) 운전자 14명을 4주 동안 추적했습니다. 처음에는 주의 환기 알림이 26% 증가했지만, 경고음은 64% 감소했습니다. 운전자들은 핸들을 살짝 건드리는 것만으로 차를 조용하게 만드는 법을 배웠고, 다시 휴대폰에 몰두했습니다.
또한 접힌 지폐나 종이 가면, 인형 머리 등으로 카메라가 속는 영상들도 있습니다. 이것들은 심각한 테스트는 아닙니다. 하지만 이 영상들은 인간이 통제 장치(control)를 피해 가는 방식, 즉 우회하는 방식을 보여줍니다.
코딩 에이전트의 경우도 마찬가지입니다
코딩 에이전트는 행동하기 전에 종종 사용자에게 허가를 요청합니다. 명령을 실행하거나, 파일을 편집하거나, 패키지를 설치하는 식입니다. 사용자는 예 또는 아니오를 클릭합니다. 이것은 FSD(Full Self-Driving)와 같은 상황과 같습니다. 기계가 행동하고, 인간이 관찰하는 것입니다.
Anthropic은 8월에 Claude Code 관련 수치를 발표했습니다. 사용자들은 권한 요청 프롬프트의 97%를 승인했습니다. Anthropic은 또한 1,053명의 유료 테스터를 대상으로 테스트를 진행했습니다. 각 세션에는 위험한 명령이 슬쩍 끼워져 있었습니다. 인간들은 그중 13.6%를 잡아냈습니다.
세부 내용은 더욱 놀랍습니다. 세션 초반에만 해도 테스터들은 약 17%의 위험한 명령을 차단했습니다. 하지만 50개의 프롬프트가 지난 후에는 단지 약 5%만을 차단했습니다. 이는 Bainbridge가 설명했던, 개발자들에게서 측정된 정확히 그 마모(wear) 현상입니다.
솔직하게 고지하자면: Anthropic은 이러한 승인 과정을 자동화하는 대안으로 '자동 모드(auto mode)'를 제공합니다. 이 수치들은 또한 해당 제품에 도움이 됩니다. 제가 찾은 것 중에서는 아직 이것이 유일하게 그 규모의 데이터였습니다.
2026년 Stack Overflow 설문조사는 대조적인 점을 보여줍니다. 개발자 중 단 6.6%만이 중요한 결정에 AI를 신뢰합니다. 이들은 Claude Code 사용자들과는 다른 사람들입니다. 하지만 이 격차는 우리에게 무언가를 알려줍니다. 우리는 이론적으로는 불신하지만, 실제로는 '예'를 클릭하는 경향이 있습니다.
제 에이전트는 확인 요청 없이 실행됩니다
제 Claude 에이전트는 각 행동을 확인할지 묻지 않고 실행됩니다. 하지만 저는 감독(supervision)을 완전히 없애지는 않았습니다.
Hooks는 모든 것을 감시합니다. 각 명령이 실행되기 전에 가드레일(guardrail)이 이를 읽고 무언가를 파괴하는 명령어는 차단합니다. 그리고 모든 행동은 기록됩니다. 문제가 발생하면 추적하고 감사할 수 있습니다.
제가 이 글을 준비하는 동안, 가드레일이 제 에이전트의 명령 하나를 막았습니다. 그것은 커밋되지 않은 변경 사항을 되돌릴 방법 없이 지워버리는 git checkout -- . 명령어였습니다. 에이전트는 안전한 경로인 git stash를 사용해야 했고, 이는 해당 변경 사항들을 따로 보관합니다. 아무도 아무것도 클릭할 필요가 없었습니다.
이 가드레일에도 한계는 있습니다. 제 테스트에서는 여전히 잘못 해결된 변수나 Python 스크립트가 통과될 수 있었습니다. 이것이 바로 로그와 백업이 필수적인 이유입니다. 저는 에이전트 권한에 대한 글에서 이 점을 다루었습니다.
통제권을 사람의 주의가 아닌 시스템에 두세요
Tesla와 Bainbridge로부터 얻은 교훈은 '인간이 나쁘다'는 것이 아닙니다. 그것은 알려진 한계입니다. 우리는 그 한계를 바탕으로 구축해야 합니다.
- 금지된 것은 규칙에 의해 차단됩니다. 클릭이나 프롬프트의 지시가 아닙니다.
- 인간의 승인은 되돌릴 수 없는 것에 보존되어야 합니다. 삭제, 전송, 결제, 프로덕션 배포 등이 해당됩니다. 프롬프트가 적을수록, 각 프롬프트는 실제로 더 많이 읽히게 됩니다.
- 통과하는 모든 것은 흔적을 남깁니다. 이 흔적은 나중에 차분하게 읽힐 수 있습니다.
- 한 개의 사본은 손이 닿지 않는 곳에 보관됩니다. 다른 모든 것이 실패하는 날, 그 사본이 당신을 구원할 것입니다.
이는 이미 제 메일 에이전트가 작동하는 방식입니다. 각 응답 유형은 코드에 작성된 자체 전송 규칙을 가지고 있습니다. 간단한 질문은 지연 시간과 함께 최대 두 번 자동으로 발송됩니다. 거절(거부)의 경우는 항상 제가 클릭할 때까지 기다립니다.
체크리스트
보안 유지를 위해 누구의 경계심에 의존해서는 안 됩니다.
기억해야 할 것들
감독(Supervised)은 감독자가 잠들거나 읽지 않고 '예'를 클릭할 경우 아무도 보호하지 못합니다. 이것은 성격상의 결함이 아닙니다. 이는 1983년부터 설명되어 왔고 올해 다시 측정된 인간의 한계입니다.
거의 항상 옳은 AI 에이전트는 가장 위험한 사례입니다. 마치 아무도 지켜보지 않는 것처럼 가드레일을 구축하세요.
누구의 경계심에 의존하지 않고 팀의 에이전트를 설정하고 싶으신가요? 논의해 봅시다.
출처: Electrek, 페어필드 충돌 사고 (2026년 10월 16일) · CBS 새크라멘토, 동일 충돌 사고 · Tesla, FSD (감독 하) 지원 페이지 · NHTSA, 조사 EA26002 · Bainbridge, 자동화의 역설 (1983년) · IIHS, 오토파일럿 연구 (2024년) · Anthropic, 승인 데이터 (2026년 8월 7일) · Stack Overflow 2026, AI에 대한 신뢰