서론

처음 뵙겠습니다. X의 @takunotech 에서 AI 에이전트를 사용한 개발·자동화 설계와 검증에 대해 발신하고 있습니다.

AI 에이전트에게 과거의 대화나 조사 결과를 참조하게 하면, 매번 같은 설명을 반복하지 않아도 됩니다. 반면, 저장된 메모리가 오래되거나 누군가의 의견이 확정된 사실처럼 취급되면, 메모리는 편리한 검색 결과가 아니라 잘못된 판단을 재생하는 메커니즘이 될 수 있습니다.

본 기사에서는 AI 에이전트의 지식을 '저장하는 것'과 '채택하는 것'으로 나누어 관리하는 방법을 정리합니다. 특정 서비스나 모델을 절대시하는 이야기가 아니라, 현재 운용에서 사용할 수 있는 설계상의 사고방식으로서 살펴보시기 바랍니다.

저장한 지식을 그대로 규칙으로 만들지 말 것

메모리에 들어간 정보에는 적어도 다음의 두 종류가 있습니다.

• 참조하면 도움이 되는 사고방식이나 경험담
• 현재의 대상에 대해, 1차 자료나 실측으로 확인할 수 있었던 사실

이 두 가지를 동일하게 취급하면, 참고만 했던 게시물이나 오래된 메모가 에이전트의 명령으로서 재사용됩니다. 우선은 reference_only와 같은 상태로 저장하고, 채택 시에 출처와 최신성을 확인하는 경계를 만듭니다.

{
"fact": "참조할 내용",
"source": "https://example.com/source",
...

여기서 confidence는 정확성을 자동으로 보증하는 값이 아닙니다. 어느 정도 확인되었는지를 인간과 에이전트가 재확인하기 위한 표식입니다.

채택 전에 확인해야 할 4가지 항목

검색으로 발견한 노트를 작업 절차나 시스템 규칙으로 승격시키기 전에, 다음 순서로 확인합니다.

• 출처— 어디에서 온 정보인가. 원래의 자료나 게시물을 추적할 수 있는가
• 신선도— 최종 확인일은 언제인가. 사양이나 가격 등 변하기 쉬운 내용이 아닌가
• 적용 범위— 원래의 환경과 지금 다루는 대상이 동일한가
• 확신도— 1차 자료, 실측, 제3자의 경험담 중 무엇에 기반하는가

4가지를 확인해도 불명확한 점이 남는다면, 규칙으로 승격시키지 않고 참고 정보 상태로 둡니다. 채택하지 않는 것은 실패가 아니라, 근거가 부족한 상태를 명시할 수 있었다는 뜻입니다.

'저장'과 '채택'을 별개의 상태로 가질 것

구현 시에는 지식의 상태를 하나의 불리언(Boolean) 값으로 관리하지 않는 편이 다루기 쉽습니다.

captured
→ reference_only
→ freshness_checked
...

adopted로 진행하는 처리에서는 출처 URL, 확인 일시, 확인자 또는 확인 컨텍스트를 함께 기록합니다. 확인할 수 없는 경우에는 reference_only에 머물게 하여, 다음 검색 결과에 섞이더라도 확정 규칙으로서 실행되지 않도록 합니다.

오래된 지식을 찾기 위한 재확인

모든 노트를 매번 확인할 필요는 없습니다. 다음과 같은 조건을 재확인의 계기로 삼으면 변화하기 쉬운 정보에 집중할 수 있습니다.

• last_verified_at으로부터 일정 기간이 지났다
• 출처 페이지의 업데이트 날짜나 버전이 바뀌었다
• 실행 시의 결과가 노트에 기록한 전제와 일一致하지 않았다
• 대상 모델, SDK, API, 요금 체계가 바뀌었다

재확인 시에는 오래된 노트를 즉시 삭제하는 것이 아니라, stale로서 채택 대상에서 제외하는 방법도 있습니다. 이력을 남김으로써 왜 이전의 판단을 변경했는지 추적할 수 있습니다.

실무에서 사용하는 최소 체크리스트

저장할 때

• 출처 URL을 남겼는가
• 최종 검증 일시를 남겼는가
• 참고 정보인지, 확인된 사실인지 구분했는가
• 개인정보나 비밀 정보가 섞여 있지 않은가

채택할 때

• 현재의 대상과 적용 범위가 일치하는가
• 1차 자료 또는 자신의 실측으로 재확인했는가
• 오래된 정보를 그대로 실행 절차로 만들지 않았는가
• 불확실한 점을 reference_only 상태로 남겨둘 수 있는가

요약

AI 에이전트의 메모리는 양을 늘린다고 해서 반드시 똑똑해지는 것은 아닙니다. 출처, 신선도, 적용 범위, 확신도를 함께 다루고, 저장한 정보와 채택하는 규칙 사이에 확인 게이트를 두는 것이 중요합니다.

누군가의 게시물이나 과거의 메모에서 얻은 사고방식도 참고 정보로 남겨두면 나중에 도움이 됩니다. 다만, 그것을 현재의 정답이나 명령으로 다루기 전에 대상과 증거에 비추어 재확인한다. 이 한 번의 수고가 오래된 컨텍스트를 새로운 판단에 섞이지 않게 하는 경계가 됩니다.

Discussion