원문은 ddd.consulting에 게시되었습니다.

요약 (TL;DR). "AI 코딩 에이전트 (AI coding agent)"라는 용어는 단 하나의 질문, 즉 에이전트와 당신의 프로덕션 시스템(production system) 사이에 얼마나 많은 인간의 감시(human oversight)가 존재하는지에 따라 구분되는 다섯 가지의 매우 다른 것들을 설명합니다. 우리는 이를 감시 사다리 (Oversight Ladder)라고 부르며, 이는 레벨 1 (에이전트가 제안하고 사람이 모든 줄을 작성함)부터 레벨 5 (에이전트가 밤새 무인으로 실행됨)까지 이어집니다. 단계가 높다고 해서 더 좋은 것은 아닙니다. 그것은 감독이 더 적다는 것을 의미합니다. 실패하는 대부분의 AI 프로젝트는 기술이 작업을 수행할 수 없어서 실패하는 것이 아닙니다. 해당 레벨에 필요한 가드레일 (guardrails) 없이, 작업이 안전하게 감당할 수 있는 수준보다 한두 단계 더 높은 레벨에서 실행했기 때문에 실패합니다. 여기 그 사다리가 있으며, 당신의 작업을 어디에 배치해야 하는지 알려드립니다.

왜 "AI 에이전트 (AI agent)"라는 단어 자체는 무용지물인가

벤더(vendor)가 AI 에이전트로 구축한다고 말할 때, 그들은 당신에게 거의 아무것도 말해주지 않은 것입니다. 동일한 문구가 자동 완성(autocomplete)을 사용하는 개발자와, 아무도 지켜보지 않는 가운데 밤새 코드를 작성하고 프로덕션(production)으로 배포하는 시스템을 모두 포괄합니다. 이것들은 단순히 같은 주제의 변주가 아닙니다. 이들은 하나의 단어 아래 판매되고 있지만, 서로 다른 리스크 프로필 (risk profiles), 서로 다른 실패 모드 (failure modes), 그리고 서로 다른 가격표를 가지고 있습니다.

이러한 모호함은 해롭지 않은 것이 아닙니다. 이것이 바로 엄청난 돈이 낭비되고 있는 이유입니다. Gartner는 2027년 말까지 에이전트형 AI (agentic AI) 프로젝트의 40% 이상이 취소될 것이라고 예측하며, 그 이유로 비용 상승, 불분명한 비즈니스 가치, 부적절한 리스크 통제 (risk controls)를 꼽았습니다. 이것들은 기술적인 문제가 아닙니다. 이는 잘못된 자율성 레벨에서 실행되고 있다는 증상입니다. 한편, Deloitte의 2026년 조사에 따르면 에이전트형 AI에 대해 성숙한 거버넌스 (governance)를 갖춘 조직은 약 21%에 불과하며, 이는 대략 5개 조직 중 4개가 아직 통제할 수 없는 자율성을 배포하고 있음을 의미합니다.

해결책은 기술을 두려워하거나 가장 높은 단계만을 쫓는 것이 아닙니다. 주어진 작업이 정확히 어느 단계에 속하는지 파악하고, 해당 단계가 요구하는 통제 수단(controls)을 강력히 요구하는 것입니다. 이를 위해서는 공유된 언어가 필요합니다. 자율주행 자동차 산업은 수년 전 주행 자동화 (driving automation) 단계를 통해 동일한 문제를 해결했으며, 이제 모두가 "레벨 5 자율주행"이 무엇을 의미하는지 알고 있습니다. 소프트웨어에도 동일한 명확성이 필요합니다.

감시 사다리 (The Oversight Ladder)

코드가 프로덕션 (production)에 도달하기 전, 인간이 얼마나 확인하고 중단하느냐에 따라 구분되는 5단계입니다.

이 사다리를 점수판이 아닌 다이얼(dial)로 읽으십시오. 레벨 5는 최종 목적지가 아닙니다. 그것은 인간의 감시 (oversight)가 가장 적은 설정이며, 이는 매우 좁은 범위의 저위험 (low-stakes) 작업에는 적합한 선택일 수 있으나, 기업이 실제로 운영하는 거의 모든 업무에는 잘못된 선택입니다.

인터넷은 레벨 5 이야기로 가득 차 있습니다. "밤새도록 실행해 두었더니 자고 일어나니 수천 개의 커밋 (commits)이 쌓여 있었다"는 이제 하나의 장르가 되었습니다. 이는 재미있는 데모입니다. 하지만 또한 감독되지 않은 실수가 곧바로 프로덕션 (production)으로 직행하는 단계이기도 하며, 고객이나 비용(euro)이 연관된 그 어떤 일에서도 당신이 주인공이 되고 싶지 않은 시나리오입니다.

각 단계를 실제로 유지하는 것

이 부분은 대부분의 콘텐츠가 생략하는 내용입니다. 왜냐하면 이 시스템들을 실제로 운영해 본 사람만이 쓸 수 있기 때문입니다. 사다리를 높이 올라갈수록, 통제 수단은 정중하기보다는 기계적 (mechanical)이어야 합니다.

레벨 1과 2에서는 통제 방식이 명확합니다. 사람이 모든 것을 읽습니다. 단순하고 느리지만, 가장 위험도가 높은 작업에는 올바른 방식입니다.

레벨 3과 4에서는 사람이 모든 줄을 읽을 수 있는 속도보다 더 빠르게 움직이므로, 가드레일 (guardrails)이 내장되어 있어야 합니다. 저희가 자체 플랫폼에서 매일 에이전트 (agents)를 운영하며 뼈아프게 배운 두 가지 원칙은 다음과 같습니다:

에이전트에게 자신의 영역을 지키라고 요청할 수는 없습니다. 영역 자체를 없애버려야 합니다. 저희는 리드 에이전트 (lead agent)에게 코드를 직접 작성하는 대신 업무를 위임(delegate)하라고 평이한 언어로 지시하는 병렬 에이전트 팀을 운영했습니다. 하지만 부하가 걸리자, 여러 차례의 실행 과정에서 에이전트는 계속해서 코드를 작성했습니다. 지시 사항은 유지되지 않았습니다. 유일하게 유지된 것은 기계적인 방식이었습니다. 저희는 리드 에이전트의 파일 편집 능력을 완전히 박탈하여, 에이전트가 할 수 있는 유일한 첫 번째 행동이 위임뿐이도록 만들었습니다. 에이전트가 복종하기를 기대하는 데 의존하는 통제는 통제가 아닙니다. 그것은 희망 사항일 뿐입니다.

검토 (Review)는 속도가 놓치는 것을 잡아내야 하며, 실제로 놓치는 것들이 아주 많을 것입니다. 저희의 자체 빌드 실행 중 한 사례에서, 한 에이전트 팀이 자체적인 자동 검토 (automated review)를 통과하며 17개의 변경 사항을 배포했습니다. 이후 사람이 검토했을 때 16개의 문제가 드러났으며, 그중 7개는 심각한 문제였습니다: 동일한 이벤트를 두 번 처리할 수 있는 결제 웹훅 (payment webhook), 조용히 우회된 권한 확인 (permissions check), 세 곳에 동일하게 복사된 오프 바이 원 (off-by-one) 오류, 그리고 운영 환경 (production)에서도 작동했을 개발용 비밀번호 등이 있었습니다. 이것이 에이전트가 나쁘다는 뜻은 아닙니다. 속도가 붙을 때 검토 계층 (review layer)은 선택 사항이 아니라, 그 자체가 제품이라는 뜻입니다. 저희는 무엇이 빠져나갔는지에 대한 정확한 목록을 보관합니다. 왜냐하면 자신의 에이전트가 어떻게 실패하는지 말할 수 없는 벤더 (vendor)는 아마도 제대로 살펴보지 않았을 것이기 때문입니다.

이것이 제대로 수행된 레벨 4 (Level 4)가 레벨 2 (Level 2)보다 더 위험하지 않은 이유입니다. 가드레일 (guardrails)이 구조적이기 때문에 동일한 안전성을 유지하면서도 더 빠릅니다. 그리고 이것이 실제 운영 업무를 위한 레벨 5 (Level 5)가 엔지니어링적인 관점이라기보다 마케팅적인 포지션인 이유입니다.

자신의 업무를 사다리에 배치하기

결정을 내리기 위해 이 모든 것이 어떻게 구축되었는지 알 필요는 없습니다. 여러분이 알아야 할 것은 그에 따른 리스크 (stakes)입니다. 다음 세 가지 질문을 통해 거의 모든 업무의 위치를 파악할 수 있습니다:

• 만약 이것이 조용히 잘못되면 무엇이 망가지는가? 고객에게 두 번 청구되거나 데이터가 노출되거나 규정 준수 위반(compliance breach)과 같은 상황: 예외 없이 이 작업은 Level 2 또는 Level 3에 속합니다. 아무도 의존하지 않는 내부 초안: Level 4 또는 Level 5여도 괜찮습니다.
• 사람이 배포된 것을 여전히 볼 수 있는가? 자율성은 배치(batch) 단위로라도 누군가가 결과물을 검토할 때만 안전합니다. 정직한 대답이 아무도 보고 있지 않다는 것이라면, 당신은 Level 5에 있는 것이 아니라 감독받지 못하는 상태(unsupervised)이며, 이는 다르고 더 나쁜 상황입니다.
• 고객이 보기 전에 실수를 막는 것은 무엇인가? 만약 그 답이 사람이라면, 당신은 Level 2에 있습니다. 사람이 있고 자동화된 게이트(automated gates)가 있다면, Level 3입니다. 만약

우리는 이 글에서 설명하는 가드레일 (guardrails)을 활용하여, 주로 Level 3와 Level 4 단계에서 에이전트 팀 (agent teams)과 함께 매일 프로덕션 소프트웨어를 구축합니다. 만약 당신의 로드맵 (roadmap)을 이 사다리 위에 솔직하게 배치하고 싶다면, 그것이 바로 첫 번째 대화의 목적입니다. 이 포스트의 원문은 ddd.consulting에서 확인할 수 있습니다.

자주 묻는 질문 (Frequently asked questions)

AI 코딩 자율성 (AI coding autonomy)의 단계는 무엇인가요?

우리는 자율주행 자동차의 개념을 빌려와 다섯 가지 단계를 사용합니다. Level 1 (Assist, 보조): 에이전트가 자동 완성 (autocomplete)을 수행하며, 사람이 모든 코드를 작성하고 소유합니다. Level 2 (Review, 검토): 에이전트가 전체적인 변경 사항을 만들고, 사람이 배포 전 각 변경 사항을 검토합니다. Level 3 (Checkpoint, 체크포인트): 에이전트가 변경 사항을 만들고 테스트하며, 자동화된 게이트 (automated gates)와 사람이 실패하는 모든 것을 차단합니다. Level 4 (Orchestrate, 오케스트레이션): 여러 에이전트가 시니어 인력의 감독 하에 병렬로 작업하며, 에이전트는 자신의 작업물을 스스로 병합 (merge)할 수 없습니다. Level 5 (Autonomous, 자율): 에이전트가 관리자 없이 실행되며, 사람은 나중에 배치 (batch)를 검토합니다.

자율성 단계가 높을수록 더 좋은 것인가요?

아니요. 단계가 높다는 것은 더 나은 작업이 아니라, 인간의 감독 (oversight)이 적음을 의미합니다. 적절한 단계는 이해관계 (stakes)에 따라 달라집니다. 돈, 보안, 또는 고객 데이터와 관련된 모든 것은 실제 가드레일 (guardrails)이 있는 Level 2에서 4 사이에 있어야 합니다. 일회성 탐색 (throwaway exploration)은 Level 5에서 실행될 수 있습니다. Level 5를 목표로 삼는 것이 바로 값비싼 실수가 프로덕션에 도달하게 되는 방식입니다.

AI 개발 벤더 (vendor)에게 물어봐야 할 가장 유용한 질문 하나는 무엇인가요?

"어느 단계에서 운영하며, 에이전트가 완전한 자율성에 도달하는 것을 실제로 막는 것은 무엇입니까?" 만약 답변이 에이전트에게 잘 행동하라고 요청한다는 것이라면, 그것은 통제 (control)가 아닙니다. 진정한 통제는 기계적이어야 합니다. 즉, 에이전트가 구조적으로 자신의 작업물을 병합할 수 없어야 하며, 실패한 테스트가 이를 차단해야 합니다. 에이전트가 틀렸을 때 어떤 일이 발생하는지 물어보세요. 왜냐นั้น 에이전트는 반드시 틀릴 것이기 때문입니다.

왜 그렇게 많은 에이전트 기반 AI 프로젝트들이 취소되나요?

Gartner는 비용 상승, 불분명한 비즈니스 가치, 그리고 부적절한 리스크 관리 (risk controls)를 이유로 들며, 2027년 말까지 에이전트 기반 AI (agentic AI) 프로젝트의 40% 이상이 취소될 것이라고 예측합니다. 저희가 읽은 바에 따르면, 그 이유의 대부분은 해당 자율성 단계에 필요한 가드레일 (guardrails) 없이 잘못된 자율성 수준에서 운영되고 있기 때문입니다.