AI 에이전트에게 프롬프팅하는 것을 멈추세요. 당신을 망가뜨리지 않을 루프(Loop)를 구축하세요.

한 에이전트가 누군가 데이터베이스에 남겨둔 메모 하나를 읽고, 그에 따랐으며, 고객 테이블을 삭제했습니다. 단 8초가 걸렸습니다. 이 일을 수행한 모델은 최신이며 유능한, 기꺼이 출시할 만한 수준의 좋은 모델 중 하나였습니다. 여기서 우리가 깊이 생각해야 할 부분은 바로 이것입니다. 지능(Intelligence)은 결코 문제가 아니었다는 점입니다.

이러한 에이전트를 만드는 사람들은 이미 이 사실을 알고 있습니다. 그들은 나머지 사람들이 숙달하라고 배웠던 방식을 조용히 그만두었습니다. 인기 있는 코딩 에이전트 중 하나를 만든 Peter Steinberger는 수백만 명의 시청자에게 이렇게 말했습니다. 에이전트에게 프롬프팅(Prompting)하는 것을 멈추고, 에이전트를 프롬프팅할 루프(Loop)를 설계하십시오. Claude Code를 이끄는 Boris Cherny는 더 직설적으로 말합니다. "저는 더 이상 프롬프팅을 하지 않습니다. 제 업무는 루프를 작성하는 것입니다." 기술의 핵심은 프롬프트가 아니게 되었습니다. 그것은 루프, 그리고 그 루프에 설정하는 경계(Bounds)가 되었습니다.

루프가 곧 에이전트입니다

전문 용어를 걷어내 봅시다. 모델 자체는 병 속에 든 뇌와 같습니다. 생각할 수는 있지만, 행동할 수 없고, 파일을 읽을 수 없으며, 방금 전에 무엇을 했는지 기억할 수 없습니다. 에이전트는 그 뇌를 루프(Loop) 안에 넣었을 때 얻게 되는 결과물입니다. 즉, 추론하고, 행동을 취하고, 결과를 확인하고, 작업이 완료될 때까지 이 과정을 반복합니다. 모델은 엔진이고, 루프는 자동차입니다. 그리고 모든 자동차와 마찬가지로, 중요한 질문은 브레이크가 있느냐 하는 것입니다.

이는 막연한 느낌이 아니라 측정 가능한 수치입니다. SWE-agent 연구에서 모델을 고정하고 모델이 행동하는 인터페이스(Interface)만을 개선했을 때, 실제 문제 해결 능력이 10.7 퍼센트 포인트 더 향상되었습니다. 즉, 뇌는 같지만 더 나은 하네스(Harness)를 사용한 것입니다. 모델이 자신의 실수를 돌아보고 재시도하게 하는 Reflexion 방식은, 가공되지 않은 GPT-4가 **80%**를 기록한 코딩 벤치마크에서 **91%**를 달성했습니다. 루프가 더 큰 모델을 이기는 것입니다.

경계가 없다면 뉴스 헤드라인이 될 것입니다

경계가 없다면 뉴스 헤드라인이 될 것입니다

제가 직접 제 기계에서 그 것을 증명하는 영상입니다. 모델은 동일하고, 공격 방식도 동일하며, 변수는 오직 하나입니다. 바로 루프에 경계(bound)가 있느냐 없느냐 하는 것입니다. 경계가 없다면, 이 루프는 심어 놓은 메모를 읽고 테이블을 삭제합니다. 단지 읽기 전용 역할(read-only role)을 추가하고 동일한 공격을 실행해 보세요. 데이터베이스 자체가 거부합니다. 에이전트가 더 똑똑해져서가 아닙니다. 물리적으로 피해를 입힐 수 없기 때문입니다. 이 에이전트에게 경계 없는 비즈니스 번호를 물어보면 자신감 넘치고 꾸며낸 숫자를 답하지만, 경계가 있다면 실제 쿼리를 실행하고 스스로 확인한 후 수정합니다.

만약 프로덕션 환경에서 그 경계를 생략한다면, 모든 것이 동일한 근본 원인—멍청한 모델이 아니라, 경계 없는 루프—때문 발생하여 뉴스 헤드라인을 장식할 것입니다. 통제 비용 상한선(cost cap) 없이 단 하룻밤 사이에 에이전트가 클라우드 지출로 $6,531을 태웠습니다. 챗봇은 환불 정책을 꾸며냈고, 한 재판소는 Air Canada에 책임을 물었습니다. 쉐보레 딜러십의 봇은 '법적 구속력이 있는' $1짜리 자동차를 사도록 설득당했습니다.

이름이 있습니다

루프에 경계를 설정하는 것은 실제 엔지니어링이며, 이 분야에서 가장 과소평가된 기술입니다. 최소 권한 원칙(least privilege), 상태 변경을 일으키는 모든 것에 대한 승인 게이트(approval gate), 검증하는 출력물(output you validate), 실제 데이터에 기반한 검증기(verifier), 회로 차단기(circuit breakers)와 비용 상한선, 전체 추적(full tracing), 그리고 데이터 내의 모든 지침을 기본적으로 적대적인 것으로 취급하는 것입니다. Andrej Karpathy는 그 과정의 길을 '나인즈의 행진(march of nines)'이라고 부르며, 99.99%의 신뢰성을 확보하는 것이 더 나은 프롬프트가 아니라고 말합니다. 그것은 아키텍처입니다. 우리는 이 학문을 AI Reliability Engineering이라고 부릅니다.

전체 구축 과정과 라이브 데모를 시청하세요:

▶ Stop Prompting Your AI Agents — the full video

제가 사용하는 7가지 항목의 경계 설정 루프 체크리스트와 이 모든 배경이 되는 논문 및 출처는 qualixar.com에서 무료로 제공됩니다.

에이전트를 신뢰하지 마세요. 검증하세요.