【

신연재: AI 에이전트 해부학】 ※본 연재는, 아무 말도 할 수 없는 텅 빈 '챗봇 (Chatbot)' 앞에 서서, 그에게 생명력을 불어넣으며 자신의 의지로 움직이는 'AI 에이전트 (AI Agent)'로 파트별로 만들어가는 개발 다큐멘터리입니다.

지난 회차에서 우리는 로봇의 입력부에 '포커스 렌즈 (Focus Lens, 컨텍스트 최적화)'를 장착하여, 정보의 노이즈에 빠지지 않는 높은 집중력을 구현했습니다.

하지만 손과 발(도구 (Tool))을 얻어 자신의 판단으로 코드를 쓰거나 실행할 수 있게 된 로봇에게는 더욱 무서운 리스크가 잠재되어 있습니다.

만약, 그 자신이 생성한 프로그램 코드가 버그가 있어 '영원히 끝나지 않는 무한 루프 (Infinite Loop)'에 빠져버린다면?

혹은, 악의가 없더라도 지시 해석의 실수로 인해 '로컬 PC의 시스템 파일을 모두 삭제하는' 등의 파괴 활동을 수행하는 코드를 실행해 버린다면?

이번에는 로봇의 시스템 자체가 열폭주를 일으키기 전에 물리적으로 회로를 차단하는 'Loop Control (루프 제어·타임아웃 (Timeout))'이라는 안전 퓨즈와, 모든 파괴적 행동을 무해화하는 격리 공간 '코드 실행 샌드박스 (Code Execution Sandbox)'라는 안전 캡슐을 로봇에게 장착합니다.

그에게 절대적인 '안전의 방패'를 선사합시다.

AI 에이전트에게 '파일 조작'이나 '프로그램 코드 실행 (Python의 exec이나 셸 커맨드 실행 등)'과 같은 권한을 부여하는 것은 매우 강력한 능력이 되는 한편, 다음과 같은 치명적인 폭주 리스크를 안게 됩니다.

시스템 파괴 리스크:

'불필요한 캐시 파일을 지워줘'라는 모호한 지시에 대해, AI가 경로 판정 실수로 rm -rf / (전체 파일 삭제)에 해당하는 코드를 출력·실행해 버린다. -
클라우드 알람 (무한 과금) 리스크:

에이전트가 '스스로 자신의 코드를 테스트하고, 에러가 나면 수정해서 재실행한다'라는 자율 루프를 돌리고 있을 때, 해결할 수 없는 에러 때문에 영원히 루프에서 빠져나오지 못하게 되어, 클라우드 API 이용 요금이 수만~수십만 엔에 달할 때까지 가동을 계속한다.

이러한 것들을 시스템 측에서 방지하기 위해, 에이전트 설계자는 '절대로 넘어서는 안 될 방벽'을 설계해야 합니다.

에이전트의 자율 루프 (Thought ➡ Action ➡ Observation)에는 프로그램 실행을 외부에서 감시하는 감시 스레드 (또는 프로세스)가 필요합니다.

루프 카운터 (Max Steps):

'최대 10스텝까지'와 같이, 하나의 태스크에 대해 에이전트가 실행할 수 있는 행동 횟수의 상한을 설정합니다. 상한에 도달했을 경우, 강제로 실패로 판정하여 정지시킵니다. -
실행 타임아웃 (Timeout):

도구의 실행이나 프로그램 코드의 실행에 대해 '최대 3초' 등의 시간 제한을 설정하고, 그 이상 응답이 없는 경우에는 강제로 처리를 킬 (Kill) 합니다.

생성된 프로그램 코드를 개발자의 호스트 PC나 운영 서버 환경에서 직접 실행하는 것은 절대로 피해야 합니다.

코드를 실행할 때는 완전히 주변으로부터 차단된 무균실인 '샌드박스 (Sandbox)' 안에서 돌립니다.

※그림: 생성된 코드를 격리 환경 (Docker/WASM) 내에서 돌리고, 외부의 안전 타이머로 감시·타임아웃 차단하는 루프 구조 (AI 생성 다이어그램)

Docker 컨테이너 이용:

파일 시스템이나 네트워크, 프로세스를 커널 레벨에서 호스트로부터 논리적으로 격리하는 가장 대표적인 샌드박스 수법입니다. 실행 후에는 일회용 (Disposal)으로 만듭니다. -
WASM (WebAssembly) 이용:

보다 경량화되고 고속으로, 브라우저나 작은 런타임 위에서 코드를 보안적으로 격리 실행시키는 최신 수법입니다.

Python으로 코드를 실행할 때, 만약 무한 루프에 빠지더라도 외부에서 지정된 초 단위로 감지하여 안전하게 강제 종료 (타임아웃) 시키는 최소한의 시뮬레이터 코드입니다.

가지고 계신 환경에서 실행해 보세요.

import threading
import time
# 폭주하는 무한 루프 함수 (에이전트가 작성한 버그 코드 시뮬레이션)
...

이 코드를 실행하면, 무한히 돌아갈 터인 위험한 코드가 외부의 감시 기구에 의해 3초 만에 강제로 차단되어 시스템 전체가 구원받는 모습을 체험할 수 있습니다.

※이미지: 로봇의 하드웨어에 열량이나 처리가 폭주하는 순간 강제 차단하는 『긴급 셧다운 밸브』를 장착하는 이미지 (AI 생성 이미지)

이로써 로봇의 심장부에 "Loop Control (루프 제어)" 안전 밸브가 장착되어, 최악의 코드 버그나 폭주하는 열량을 순간적으로 차단하는 "안전의 방패"를 손에 넣었습니다. 이제 그는 어떤 복잡한 실험(자율 실행)도 시스템을 파괴하지 않고 안전하게 수행할 수 있습니다.

하지만 현재의 그는 아직 "1시간 전에 자신이 실행한 도구의 결과"나 "어제 사용자와 나누었던 대화 내용"을 오랫동안 기억하기 위한 장기적인 기억 장치를 가지고 있지 않습니다.

다음, 제6회.

컨텍스트 윈도우 (Context Window)라는 일시적인 뇌의 공간을 넘어, 과거의 경험을 데이터베이스에 축적하고 필요에 따라 꺼내 쓰는 뇌의 기억 저장소, "Memory & RAG Engineering (메모리 및 RAG 엔지니어링)의 실전" 파츠를 그에게 장착하겠습니다.

로봇이 시간과 언어를 초월하여 "경험으로부터 배우기" 위한 기억을 획득하는 순간으로 나아가 봅시다.