최근 몇 년 동안 에이전트가 수행할 수 있는 작업의 범위는 급격하게 증가했습니다. 단순한 텍스트 생성에서 도구 호출(tool calling) 및 의사 결정, 나아가 전체 작업을 실행하는 수준으로 발전했습니다. 에이전트의 미래는 개방형 목표를 맡고 그 목표 달성을 향해 나아가는 것입니다. Hone과 같은 출시 사례들은 우리에게 그러한 미래의 단면을 보여줍니다.
이러한 환경에서 에이전트의 범위를 설계하는 것은 매우 중요합니다. 잘못된 방향으로 유도하면 많은 토큰(tokens) 낭비를 초래할 수 있습니다. Hone 에이전트를 설정하는 핵심 부분 중 하나는 에이전트가 최적화하도록 할 메트릭(metrics)을 정의하는 것입니다.
목표를 설계하는 방법
저희가 유사한 스타일의 에이전트에 대해 작업하면서, 에이전트의 범위를 설계할 때 한 가지 사실을 깨달았습니다. 바로 에이전트가 그 범위 내에서 작동할 때 피드백을 제공하기 가장 쉽게 만들도록 범위를 설계해야 한다는 것입니다.
왜 그럴까요?
에이전트가 잘못 작동하는 큰 이유 중 하나는 적절한 컨텍스트(context)의 부족입니다. 이를 해결하려면 에이전트에게 올바른 컨텍스트를 제공해야 합니다. 컨텍스트에는 여러 유형이 있습니다. 일부 컨텍스트는 적절한 문서나 API에 대한 접근과 같은 것으로, 비교적 수정하기 쉽습니다. 에이전트에게 가장 다루기 어려운 컨텍스트는 어딘가에 명시적으로 작성되어 있지 않은 컨텍스트입니다. 이 컨텍스트는 인간 전문가의 피드백 형태로 에이전트에게 제공되어야 합니다.
이는 특히 에이전트가 검증 가능한 작업(verifiable tasks)을 넘어 조직 내에서 인간과 함께 주관적인 업무를 수행하기 시작할 때 중요합니다. 예를 들어, 광고 개선 등을 통해 마케팅 성과를 최적화하는 비즈니스 메트릭을 에이전트가 돕도록 하고 싶다면, 단순히 사실적인 컨텍스트 외에도 에이전트의 행동 방식을 관리해야 할 수많은 미묘한 차이가 존재합니다. 아마도 무엇이 좋고 멋지게 들리고 보이는지에 대한 특정 취향(taste)이 있을 것입니다. 브랜드가 얼마나 도발적이거나 독특할 수 있는지에 대한 의견이 있습니다. 이러한 것들을 빠르게 학습하기 위해 효과적인 피드백을 얻지 못하는 에이전트는 쓸모없어집니다.
에이전트의 범위(scope)가 에이전트의 작업에 대해 많은 양의 고품질 피드백을 제공하기 매우 쉽다면, 이는 장기 목표를 신뢰성 있게 추구할 수 있는 에이전트를 구축하는 데 엄청난 도움이 될 것입니다.
관련하여 배울 점은 에이전트의 작업을 *검토(reviewing)*하기 위한 직관적이고 즐거운 사용자 경험(UX)에 많은 투자를 해야 한다는 것입니다. 수행하는 에이전트들의 병목 현상(bottleneck)은 종종 피드백으로부터 학습하는 과정 자체입니다. 따라서, 피드백 수집의 용이성과 품질을 최적화하기 위해 노력해야 합니다! 이를 위한 명확한 UX에 투자하는 것은 가치 있는 투자입니다.
사례 연구: Actively AI
세일즈 팀을 위한 에이전트를 구축하는 Actively AI의 사례를 살펴보겠습니다.
Actively가 처음 목표 지향적(goal-oriented) 에이전트 경험을 설계했을 때, 그들은 계정별(account per) 에이전트를 보유했습니다 (세일즈 팀이 판매하려는 잠재 고객). 이 에이전트는 해당 계정을 전진시키는 목표를 부여받았고, 세일즈 담당자가 승인할 수 있는 행동들을 생성했습니다. 직관적으로 이는 말이 되었습니다. 이는 확실한 결과가 도출되는 비교적 제한적이고 방향성이 있는 목표였습니다. 순전히 생각하기에는, 계정에 대한 맥락(context)이 에이전트에게 가장 중요한 정보였기 때문에, 에이전트를 그 주변에 배치해야 한다고 보았습니다.
하지만 에이전트들이 작업하면서, 에이전트가 필요로 하는 또 다른 중요 맥락의 출처를 발견했습니다. 바로 '어떻게 효율적으로 업무를 수행할 것인가'입니다. 구체적으로는 아웃바운드(outbound)하는 방법, 답장하는 방법, 딜에 대한 전략 수립 방법, 얼마나 공격적이어야 하는지, 대규모 조직을 어떻게 탐색해야 하는지 등입니다. 이러한 유형의 맥락은 여러 에이전트에 걸쳐 분산되어 있었습니다. 만약 한 계정에서 아웃바운드에 대해 배운 것이 있다면, 그 학습 내용을 다른 계정에도 매우 자주 전이(transfer)하고 싶어 하게 됩니다.
Actively는 에이전트가 단일 계정을 다룰 때, 영업 사원들이 에이전트를 효율적으로 사용하고 피드백을 제공하는 것이 어렵다는 것을 발견했습니다. 하나의 계정을 진행할 때 에이전트가 수행해야 하는 여러 가지 작업이 있으며, 이들은 종종 시간에 걸쳐 분산됩니다. 그들은 (a) 에이전트 간의 많은 문맥 전환(단일 에이전트의 경우 어느 시점에서 검토해야 할 것이 몇 가지에 불과했기 때문에)이 발생한다는 것과 (b) 학습 내용을 에이전트들 사이에서 공유하는 것이 어색한 사용자 경험(UX)이라는 것을 발견했습니다 (실제로 그들은 같은 것을 배우고 있었기 때문에 이 공유가 필요했습니다).
Actively의 에이전트 경험 두 번째 버전은 이 문제를 해결했습니다. 그들의 새로운 목표 지향형 에이전트(Deep Agents! 기반)는 “모션(motions)”이라고 불립니다. 모션이란 아웃바운딩이나 초기 단계 딜 진행과 같은 특정 작업을 수행하는 것을 의미합니다. 그 작업을 어떻게 수행할지는 명확하게 정의되어 있지 않으며, 상당 부분은 개별 영업 사원의 선호도와 관련됩니다. 판매자의 머릿속에 있는 많은 지식이 해당 모션을 담당하는 에이전트에게 피드백으로 제공되어야 학습될 수 있습니다. 모션은 여러 유사한 작업들로 구성되어 있기 때문에, 영업 사원이 이 모든 것을 한 번에 검토하기가 매우 쉽습니다. 모션의 한 작업에서 얻은 어떤 피드백이라도 직관적으로 모션 내 다른 작업에도 전달됩니다.
이는 피드백(피드백의 범위와 제공 용이성 모두)을 에이전트 자체에 맞추어 정렬시키며, 강력한 에이전트를 만드는 것을 훨씬 쉽게 만듭니다.
이것이 계정 문맥(account context)이 중요하지 않다는 의미는 아닙니다 — 당연히 중요합니다! 하지만 계정 문맥은 종종 이미 문서화되어 있고 훨씬 더 객관적입니다. 따라서 Actively는 백그라운드에서 실행되어 각 계정에 대한 문맥을 수집하고 조립하는 컨텍스트 수집 에이전트(context-gathering agents)를 보유하고 있지만, 실제로 계정을 깔때기(funnel)를 따라 진행시키는 작업은 이제 여러 계정에 걸쳐 작동하는 모션(motions)에 의해 처리됩니다. 이들은 영업 모션의 특정 부분을 담당하며, 피드백으로부터 훨씬 더 빠르게 학습하고 필요할 때마다 각 계정의 문맥을 끌어옵니다.
미래에는
미래에는 에이전트(agents)가 발전하여 사용자가 목표만 제시하면, 그 목표를 최적화하기 위해 스스로 활동하게 될 것입니다.
에이전트가 수행하는 작업에 대한 인간의 검토는 많은 시간이 소요되지만, 그 가치는 매우 큽니다. 이것이야말로 에이전트에게 무엇을 해야 할지 가르치고 사용자의 도메인(domain)에 맞게 적응시키는 방법입니다. 사람들의 머릿속에만 있는 지식은 에이전트가 처리하기 쉬운 형태로 추출하는 것이 매우 중요합니다.
이를 가장 잘 수행하려면, 에이전트의 목표를 인간이 검토하기 가장 쉬운 것에 맞춰야 합니다. 이렇게 하면 사용자가 만족하는(delightful) 리뷰 UX를 만들고, 가능한 한 많은 정보를 추출하며, 시간이 지남에 따라 에이전트가 지속적으로 학습하여 점차 유용하고 자율적이게 될 수 있도록 할 수 있습니다.
프롬프트 엔지니어링(Prompt Engineering)과 컨텍스트 엔지니어링(Context Engineering)은 사라지겠지만, 목표 공학(Goal Engineering)은 남을 것입니다.