TL;DR

• 개인용 AI 에이전트는 업무 시간의 단축뿐만 아니라 「같은 설명을 몇 번이나 반복하지 않아도 되었는가」로 평가해야 합니다.
• 필요한 것은 과거를 고정하여 기억하는 기억이 아니라, 생활의 변화에 맞춰 업데이트할 수 있는 연속성입니다.
• 그 연속성에는 기억의 확인·정정·삭제와, 의도적으로 떠올리지 않도록 하는 제어가 필수적입니다.

서론

「이 AI 에이전트로 몇 시간을 단축했는가」.

업무용 이야기라면 이 질문은 강력합니다. 하지만 개인용 AI 에이전트에도 동일한 잣대를 적용하면, 가장 설계해야 할 가치가 누락됩니다.

저는 개인용 에이전트의 핵심 지표를 「작업을 몇 분 단축했는가」에 두어서는 안 된다고 생각합니다. 대신 보고 싶은 것은 「지난번까지의 나를, 이번에 얼마나 다시 설명하지 않고 넘어갔는가」입니다.

여기서 말하는 가치는 완전 자동화도, 무엇이든 기억하는 것도 아닙니다. 설명의 중복을 줄이고, 지난주와 이번 주를 무리 없이 잇는 것. 본문에서는 이를 위한 설계 원칙을 고찰합니다.

업무 효율로만 측정하면 개인의 가치가 사라진다

업무에서는 입력과 출력의 단위가 비교적 명확합니다. 회의록을 작성한다, 문의를 분류한다, 리포트를 집계한다. 처리 시간이나 수정 횟수를 측정하면 도입 효과를 이야기하기 쉽습니다.

생활은 그렇지 않습니다. 월요일의 식단 상담과 금요일의 가게 선택은 별개의 태스크처럼 보입니다. 그럼에도 「매운 것은 잘 못 먹는다」라는 조건은 연결되어 있습니다. 지난번 이야기를 다시 처음부터 쓰게 만든다면, 응답이 빠르더라도 「나를 위한 것」이라고 느끼기 어려울 것입니다.

즉, 두 가지 평가 축이 필요합니다.

이 표의 오른쪽은 처리량보다 「관계가 지속되었는가」를 측정하고 있습니다. 이 지점이 없다면 개인용 에이전트는 빠른 채팅 서비스에 머물게 됩니다.

개인적인 상황에서 필요한 것은 「생활의 연속성」

중복 설명을 줄이려면 대화 로그를 통째로 남기면 되는 것이 아닙니다. 남겨야 할 것은 다음 판단에 정말로 필요한 조건과, 그 조건이 변했는지 여부입니다.

가정 상황을 하나 설정하겠습니다. 지난달, 평일 밤에는 긴 조리를 피하고 싶다고 전달했습니다. 이번 달은 업무 방식이 바뀌어 밤에 시간을 낼 수 있게 되었습니다. 에이전트가 지난달의 조건을 그대로 고수한다면, 「기억하고 있음에도」 틀린 대응을 하게 됩니다.

이때 필요한 것은 올바른 기억이 아니라, 업데이트할 수 있는 연속성입니다.

LoCoMo가 다루는 장기 대화는 최대 35세션에 걸쳐 있습니다. 그 평가에서는 모델이 시간 관계나 인과 관계를 다루는 어려움이 나타났습니다.

생활의 연속성을 다루기 위해서는 과거를 떠올리는 능력만으로는 부족합니다.

LongMemEval이 평가하는 장기 기억 능력에는 세션을 넘나드는 추론, 지식의 업데이트, 「대답하지 않기」 판단이 포함됩니다. 올바른 기억은 과거의 보존이 아니라, 현재와의 차이(diff)를 다루는 능력이기도 합니다.

이 평가 축은 벤치마크 안에만 머물지 않습니다.

제품의 가치 제안(Value Proposition)에도 이러한 전환이 나타나고 있습니다. Macaron의 일본어 페이지는 「일을 도와주는」 에이전트와 대비시키고 있습니다. 그 위에서 생활을 더 좋게 만드는 Personal Agent로 위치시키고 있습니다.

이는 제품의 우열을 나타내는 근거가 아닙니다. 에이전트의 평가 대상이 업무에서 생활로 확장되고 있는 하나의 사례입니다.

반론: 많이 기억할수록 개인용에 가까워지는가

업무 효율은 측정하기 쉽고, 기억이나 연속성은 측정하기 어렵습니다. 그래서 우선은 작업 시간 단축을 목표로 한다. 이 반론은 타당합니다. 특히 이용 기간이 짧은 도구에서는 연속성보다 즉각적인 완료율을 우선시해야 할 것입니다.

하지만 길게 사용하는 개인 에이전트에서 효율만을 쫓는 것은 부족합니다. 반면, 연속성을 위해 저장량을 늘리기만 하는 것도 위험합니다.

2025년의 파일럿 연구에서는, 모든 것을 기억하는 챗봇에 놀라움이나 불쾌감을 나타내는 참가자가 있었습니다. 그 직후에는 호감도나 신뢰도 평가도 하락했습니다.

그 후, 참가자가 챗봇의 기억을 가시화하고 조작할 수 있는 조건에서는 평가가 개선되었습니다.

파일럿 연구이므로 이 결과를 일반화할 수는 없습니다. 다만 「기억하는 것」과 「안심하고 사용할 수 있는 것」이 같지 않다는 반례가 됩니다.

실제 제품에서는 저장된 기억과 과거의 채팅 참조를 별도로 제어하는 설계도 나타나고 있습니다. 확인, 정정, 삭제, 기억을 사용하지 않는 대화가 마련되어야 비로소 연속성을 선택할 수 있습니다.

개인용 AI 에이전트의 설계 원칙

지금까지의 내용을 설계 조건으로 요약하면, 핵심은 「거대한 기억 용량」이 아닙니다. 연속성을 만들고, 또한 이용자가 그것을 감독할 수 있게 하는 것입니다.

재설명의 부담을 측정하기

정밀도와 응답 속도 외에도, 동일한 선호도, 제약 사항, 목표를 재입력한 횟수를 측정합니다. 기억이 있더라도 매번 "그건 옛날이야기야"라고 수정하게 만든다면, 부담은 줄어들지 않은 것입니다.

사실이 아닌 「현재 유효한가」를 가질 것

"매운 음식을 못 먹음"과 "평일에는 요리에 시간을 쓰지 않음"은 동일한 저장 방식에 적합하지 않습니다. 후자에는 기간과 최종 확인일이 필요합니다. 하나의 프로필로 고정하지 않고, 변화하는 생활 상태로서 다룹니다.

기억을 보여주고, 수정하고, 사용하지 않을 선택권을 남길 것

"왜 이런 제안을 했는가"에 대해 참조한 기억을 보여줄 수 있도록 합니다. 이용자는 그것을 수정·삭제할 수 있으며, 단 한 번만 기억을 참조하지 않는 모드를 선택할 수 있습니다. 잊힐 권리는 연속성의 반대가 아니라, 연속성을 신뢰할 수 있게 만드는 조건입니다.

「올바르게 기억하기」와 「기억하지 않기」를 동시에 테스트하기

평가 데이터에는 과거의 조건을 적용하는 질문뿐만 아니라, 업데이트 이후의 오래된 조건을 무시하는 질문도 포함합니다. 이용자가 원하지 않는 상황에서는 개인정보를 꺼내지 않습니다. 올바른 정보라도 내보내는 장소가 틀리면 실패입니다.

마치며

개인용 에이전트의 가치는 인간 대신 많은 일을 끝내는 것만이 아닙니다. 지난번의 설명을 다음번의 전제로 바꾸고, 그 전제가 낡았다면 놓아줄 수 있는 것. 그 왕복이 생활의 지속을 뒷받침합니다.

다음에 개인 에이전트 (Agent)를 설계할 때, "무엇을 자동화할 것인가"라는 항목 옆에 또 하나의 질문을 두고 싶습니다.

이 에이전트는 이용자가 다음에 다시 설명하지 않아도 될 것을, 단 하나라도 늘릴 수 있는가.

Discussion