RT @AYi_AInotes: Anthropic에서 매우 높은 가치를 지닌 엔지니어링 가이드를 방금 공개했습니다. 이 가이드는 항시 작동하는 AI Agent를 단계별로 구축하는 방법을 알려줍니다.
하지만 전체 내용 중 가장 반직관적인 결론은, 소위 '항시 작동'한다는 것이 모델을 24시간 내내 쉬지 않고 돌린다는 의미가 아니라는 것입니다. 솔직히 말해서, 많은 개발자들이 Agent를 처음 만들 때 무작정 무한 루프(死循環)를 짜서 항상 온라인 상태로 지켜보게 만듭니다.
결과적으로 토큰 비용만 엄청나게 소모할 뿐 아니라, 시스템 상태가 자주 엉망이 됩니다. 하지만 Anthropic의 실제 아키텍처에서는, 성숙한 24/7 스마트 에이전트는 사실 하루 종일 깊은 휴면(deep sleep) 상태에 있다가, 트리거가 발생했을 때만 잠시 깨어나 몇 초간 작동하고, 상태를 저장한 후 즉시 다시 잠드는 방식입니다.
저는 그들이 제시한 엔지니어링 청사진을 5가지 핵심 컴포넌트로 정리했습니다. 직접 Agent를 구축하려는 개발자라면 이 내용을 그대로 참고하는 것을 추천합니다:
-
이벤트 수신함 (Event Inbox)
외부 webhook이 Agent에 바로 충돌하지 않도록, 중간에 데이터베이스 테이블을 반드시 배치하여 완충지대를 만들어야 합니다. 요청을 받으면 먼저 확인 응답(Confirmation)을 보내고, 모든 사용자가 동시에 하나의 활성 프로세스만 실행되도록 엄격하게 보장해야 하며, 몇 초 간격으로 연속해서 오는 작은 메시지들은 일괄적으로 병합하여 동시 접속 충돌을 완전히 방지해야 합니다.
-
스케줄러 (Scheduler)
정기적인 작업(Cron Job)은 별도의 테이블에 저장하고, '일회성 후속 조치'와 '주기적 계획' 두 가지 유형으로 분리합니다. 백그라운드에는 경량의 폴링(Polling) 장치를 두고, 어떤 작업이 시간이 되었는지 확인되면 이를 일반적인 이벤트로 간주하여 위의 수신함으로 전달해 모델을 깨웁니다.
-
메모리 최적화 및 꿈 정리 (Memory Optimization & Dream Cleanup)
데이터베이스에는 더 이상 검색할 수 없는 '죽은 정보'들, 예를 들어 사용자 지침, 선호도 메모, 작업 진행 상황 등만 저장합니다. 호출될 때마다 아주 작은 인덱스 파일 하나만 로드해야 하며, 절대 모든 기록을 컨텍스트에 넣어서는 안 됩니다. 또한 주기적으로 '꿈 정리(Dream Cleanup)' 작업을 실행하여 오래된 사실들을 청소해 주어야 합니다.
-
무인 접근 권한 (Unattended Permissions)
절대로 원본 API 키를 Agent의 실행 사상자(sandbox) 안에 직접 심어서는 안 되며, 반드시 외부 프록시를 통해 동적으로 주입해야 합니다. 데이터베이스 삭제, 송금, 또는 외부 이메일 발송과 같은 고위험 동작이 발생할 경우, 지연 도구(delay tool) 호출을 이용해 작업을 일시 중지시키고, 인간의 승인 버튼을 누른 후에만 계속 진행하도록 해야 하며, 프로세스가 멈춘 채로 기다리게 해서는 절대 안 됩니다.
-
발신함 (Outbox)
Agent가 생성한 모든 답변은 먼저 전송 대기열(sending queue)에 넣고, 시스템이 인간의 정상적인 생활 리듬에 맞춰 알림을 푸시하도록 해야 합니다. 그렇지 않으면 한밤중 3시에 Agent가 갑자기 오작동하여 고객에게 메시지를 20개씩 연속으로 보내게 될 수 있으며, 아무리 신들조차 막지 못할 것입니다.
저는 항상 이 분야에서 대규모 언어 모델(LLM)의 능력에 대해 이야기하는 사람이 너무 많고, 시스템 엔지니어링을 제대로 설명하는 사람은 적다고 느꼈습니다. 이전에는 저희가 항시 작동하는 Agent는 모델이 얼마나 똑똑하냐에 달려 있다고 생각했지만,
이 가이드를 보고 나서야 비로소 절제된 휴면 메커니즘과 깨끗한 상태 관리가 진정한 해자(moat)라는 것을 알게 되었습니다. 원문 링크를 아래에 남겨두니, 개발을 하는 분들은 반드시 정독해 보시길 강력히 권장합니다.