AI 에이전트가 동일한 실수를 반복하지 않도록 교육하는 방법

AI 에이전트 설정에서 제가 가장 흔히 보는 실패 모드는 에이전트가 동일한 실수를 반복한다는 것입니다. 이는 에이전트가 학습할 수 없기 때문이 아니라, 시스템 내에 에이전트를 가르칠 수 있는 설정이 되어 있지 않기 때문입니다.

결과를 얻고, 이를 수정하고, 다음 단계로 넘어갑니다. 에이전트는 수정이 일어났다는 사실을 전혀 모릅니다. 다음 세션에서도 똑같은 실수를 반복합니다.

이는 해결 가능합니다. 에이전트가 시간이 지남에 따라 실제로 개선되도록 만드는 작동 가능한 피드백 루프(feedback loop)를 소개합니다.

핵심 문제

대부분의 에이전트 상호작용은 상태가 없는(stateless) 방식입니다. 질문하면 답변하고, 대화가 종료됩니다. 만약 당신이 에이전트의 출력을 수정하거나, 에이전트가 생성한 파일을 삭제하거나, 에이전트의 제안을 무시하더라도 에이전트는 이에 대한 기록을 가지고 있지 않습니다.

피드백 루프에는 세 가지 요소가 필요합니다:

1. 캡처 (Capture) -- 수정을 포함하여 무슨 일이 일어났는지 기록합니다.
2. 저장 (Store) -- 에이전트가 참조할 수 있는 형태로 피드백을 보관합니다.
3. 검색 (Retrieve) -- 유사한 상황이 발생했을 때 관련 피드백을 드러냅니다.

이것이 전체 아키텍처(architecture)입니다. 그 외의 모든 것은 구현 세부 사항입니다.

Capture: 피드백 태그를 활용한 로깅 (Logging)

모든 에이전트 작업은 메타데이터와 함께 로그로 기록됩니다. 핵심적인 추가 사항은 출력이 수락되었는지, 수정되었는지, 또는 거부되었는지를 캡처하는 feedback 필드입니다.

#!/usr/bin/env python3
# agent_logger.py
import json
...

context_hash가 중요합니다. 이는 정확한 작업 설명이 다르더라도 유사한 상황을 매칭할 수 있게 해줍니다. 관련 변수(파일 경로, 사용자 유형, 작업 유형)를 해싱(hash)하여 안정적인 키를 생성하세요.

Store: 구조화된 수정 기록

가공되지 않은 피드백만으로는 부족합니다. 에이전트는 무엇이 잘못되었고 왜 잘못되었는지를 이해해야 합니다. 수정을 구조화된 기록으로 저장하세요.

def store_correction(task, original_output, corrected_output, reason):
    """무엇이 왜 바뀌었는지에 대한 설명을 포함하여 수정을 저장합니다."""
    init_db()
...

correction 필드는 전체 컨텍스트(context)를 포함하는 구조화된 JSON 객체를 저장합니다. 에이전트가 이를 검색할 때, 단순히 무언가 잘못되었다는 것뿐만 아니라 무엇이 구체적으로 왜 잘못되었는지 이해할 수 있습니다.

Retrieve: 피드백 인지 컨텍스트 주입 (Feedback-Aware Context Injection)

태스크에 대한 조치를 취하기 전에, 에이전트는 관련 있는 과거 피드백을 검색(Retrieve)하여 컨텍스트(Context)에 주입합니다.

def build_context_with_feedback(task, current_context):
    """관련 있는 과거 피드백을 주입하여 강화된 컨텍스트를 구축합니다."""
    recent = get_feedback_for_task(task, limit=5)
...

이것이 핵심적인 통합 지점(Integration point)입니다. 에이전트가 출력을 생성하기 전에 피드백 블록을 주입하십시오. 이는 에이전트가 추론(Reasoning)하는 방식 자체를 바꾸지는 않지만, 무엇이 효과적이었고 무엇이 그렇지 않았는지에 대한 기억을 제공합니다.

종합하기: 피드백 인지 에이전트 (The feedback-aware agent)

#!/usr/bin/env python3
# feedback_agent.py
import hashlib
...

실제 적용 시의 모습

일주일간 사용한 후, 피드백 테이블에는 다음과 같은 항목들이 쌓이게 됩니다:

PAST MISTAKE: 파일을 덮어쓰기 전에 항상 파일 권한을 확인하십시오.
Changes made: content replaced

...

다음에 에이전트가 파일 권한이나 날짜 형식 지정과 관련된 태스크를 마주하면, 피드백 블록을 확인하게 됩니다. 그러면 동일한 실수를 반복하지 않습니다.

요구되는 규율 (The discipline required)

피드백 루프(Feedback loop)는 실제로 이를 사용할 때만 작동합니다. 지속 가능성을 유지하기 위해서는 두 가지가 필요합니다:

1. 피드백을 수월하게 만드십시오. 검토 단계는 10초 내외로 끝나야 합니다. 피드백을 기록하는 데 태스크 자체보다 더 많은 시간이 걸린다면, 당신은 이를 수행하지 않을 것입니다.

2. 선택적으로 검토하십시오. 모든 출력에 피드백이 필요하지는 않습니다. 틀렸거나, 혹은 특히 잘 수행된 것들에만 표시를 남기십시오. 목표는 완전한 포괄이 아니라 패턴 인식(Pattern recognition)입니다.

이 루프는 복리로 작용합니다. 한 달이 지나면, 당신이 가장 신경 쓰는 카테고리에서 에이전트의 실수가 줄어들 것입니다. 왜냐하면 그 카테고리들에 대해 가장 많은 피드백을 주었기 때문입니다.

해결할 수 없는 것

이 패턴은 근본적인 능력(Capability) 문제를 해결하지는 못합니다. 만약 에이전트가 특정 도메인을 지속적으로 이해하지 못한다면, 아무리 많은 피드백을 주어도 학습할 수 없습니다. 피드백 루프는 스타일, 관례, 반복되는 실수와 같은 패턴 교정(Pattern correction)에는 효과적이지만, 새로운 추론 능력(Reasoning capabilities)을 구축하는 데는 적합하지 않습니다.

그것을 위해서는 더 나은 프롬프트(Prompt), 더 나은 도구(Tool), 또는 더 나은 모델(Model)이 필요합니다.

더 자세한 내용은 https://thesolai.github.io에서 확인하실 수 있습니다.