AI 에이전트가 점점 더 능숙해짐에 따라, 사용자는 여전히 언제 그리고 어떻게 도움을 요청해야 하는지 인식해야 하며, 이로 인해 유용한 지원 기회들이 많이 실현되지 못하고 있습니다. 프로액티브 에이전트는 이러한 격차를 해소할 잠재력을 가지고 있지만, 효과적인 선제적 대응(proactivity)은 사용자의 실시간 활동을 이해하고 개입 시점을 개인화하는 것을 필요로 합니다. 그래야 지원이 방해되는 것이 아니라 도움이 될 가능성이 높을 때 제공될 수 있습니다.
우리는 연속 컨텍스트 관찰과 지속적인 에이전트 적응(continual agent adaptation)을 연결하는 폐쇄 루프 프로세스인 심층 개인화(deep personalization)를 소개합니다. 즉, 에이전트가 사용자 활동을 관찰하고, 장기 컨텍스트를 선택적으로 유지하며, 암묵적 피드백으로부터 개입 결정을 조정합니다. 우리는 프로액티브 데스크톱 에이전트인 Coco에 심층 개인화를 적용하기 위해, 데스크톱 활동을 모니터링하고, 간결한 장기 사용자 모델링 컨텍스트를 유지하며, 참여(engagement), 무시(dismissal), 명시적 요청, 반복적인 작업 패턴과 같은 암묵적 신호로부터 지원이 바람직한 시점을 학습하는 별도의 Observer Agent를 두었습니다. 또한, 원시 활동 데이터를 기기 외부로 스트리밍하지 않고도 Observer Agent가 로컬 AI 컴퓨팅 플랫폼에서 실행될 수 있도록 효율적인 온디바이스(on-device) 전략을 개발했습니다.
민감한 실제 사용자 활동을 수집하지 않으면서 대규모로 평가하기 위해, 기존 컴퓨터 사용 궤적을 페르소나 조건부 개입 레이블이 적용된 OSWorld-Persona라는 벤치마크로 변환하는 데이터 합성 파이프라인을 도입했습니다. OSWorld-Persona에서 심층 개인화는 직접 프롬프팅(direct prompting) 시 세 가지 모델 백본(model backbones)에 걸쳐 macro F1 점수를 0.120.19에서 적응 후 0.350.48로 향상시켜, 상대적인 이득을 2.4~3.0배 높였습니다. 일주일간의 사용자 연구에서는 Coco가 macro-평균 F1 점수를 0.199에서 0.515로 개선하는 것을 관찰했습니다. 이러한 결과는 온디바이스 심층 개인화가 프로액티브 에이전트를 사용자의 일상 업무와 더욱 시기적절하고 점점 더 정렬되도록 만들 수 있음을 시사합니다.