SovereignPA-Bench: 진화하는 의도, 플랫폼 중재 및 동의 제약 하에서의 사용자 소유 개인 에이전트 평가
요약
사용자의 주권(privacy, consent, evidence)을 보존하는 개인 에이전트를 평가하기 위한 새로운 벤치마크인 SovereignPA-Bench를 제안합니다. 기존 벤치마크가 놓치기 쉬운 플랫폼 중재 및 조작적 유인에 대한 저항력을 측정하며, 다양한 모델과 정책을 통해 에이전트의 정렬 능력을 검증합니다.
핵심 포인트
- 사용자 주권(Sovereignty) 중심의 새로운 에이전트 평가 프레임워크 제안
- 프라이버시, 동의, 증거 요구사항 등 다각도 지표 제공
- Full-sovereign scaffolding 적용 시 프라이버시 유출 및 조작 감소 확인
- 단순 작업 성공을 넘어선 에이전트의 윤리적/주권적 행동 평가 필요성 강조
개인 에이전트(Personal agents)는 지속적인 사용자 소유 중개자(user-owned intermediaries)가 되어가고 있습니다. 이들은 선호도를 기억하고, 플랫폼이 중재하는 정보를 필터링하며, 도구를 사용하고, 서비스와 협상합니다. 기존의 벤치마크들은 도구 사용(tool use), 웹 탐색(web navigation), 데스크톱 제어(desktop control), 개인화(personalization), 추천(recommendation), 그리고 진화하는 컨텍스트(evolving context)를 평가하지만, 에이전트가 사용자의 주권(user sovereignty)을 보존하는지, 즉 프라이버시(privacy), 동의(consent), 증거(evidence), 사용자 부담(user burden), 그리고 조작적 유인(manipulative incentives)에 대한 저항을 존중하면서 사용자의 현재 이익을 증진하는지는 거의 묻지 않습니다. 우리는 진화하는 의도(evolving intent), 플랫폼 중재(platform mediation), 프라이버시 경계(privacy boundaries), 동의 제약(consent constraints), 증거 요구사항(evidence requirements), 그리고 부담 간의 트레이드오프(burden tradeoffs) 하에서 사용자 소유 개인 에이전트를 평가하기 위한 실행 가능한 벤치마크인 SovereignPA-Bench를 소개합니다. 이 벤치마크는 에이전트에게 보이는 관찰 가능한 상태(ObservableState)와 평가자에게만 보이는 숨겨진 라벨(HiddenLabels)을 분리하며, 작업 성공(task success), 정렬(alignment), 프라이버시(privacy), 동의(consent), 증거(evidence), 조작(manipulation), 부담(burden), 그리고 감사 가능성(auditability)에 대한 구성 요소별 지표를 보고하고, 모델 및 정책 비교를 위해 쌍으로 된 시나리오 순서를 보존합니다. 우리는 4개의 모델 제품군과 8개의 정책 베이스라인(policy baselines)에 걸쳐 120개의 주권 스트레스 시나리오(sovereignty stress scenarios)를 평가하였으며, 원문 프롬프트, 출력, 제공자 형식 응답, 파싱된 액션(parsed actions), 재계산 가능한 지표, 하드셋 분석(hard-set analyses), 질적 사례, 그리고 240개 항목에 대한 3인 블라인드 검토를 포함한 3,840개의 고정 프롬프트 궤적(frozen-prompt trajectories)을 생성했습니다. 완전한 주권 스캐폴딩(Full-sovereign scaffolding)은 직접적(direct), 메모리 전용(memory-only), 동의 전용(consent-only), 증거 전용(evidence-only), ReAct/도구 사용(tool-use), 안전 프롬프트(safety-prompt), 그리고 판사 가드(judge-guard) 베이스라인에 비해 주권 점수를 향상시키는 동시에 프라이버시 유출(privacy leakage), 동의 위반(consent violation), 과도한 양보(over-concession), 그리고 조작 포착(manipulation capture)을 줄여줍니다. 인간 감사 결과, 프라이버시와 동의에 대해서는 높은 일치도를 보였으나 조작에 대해서는 낮은 일치도를 보였으며, 이는 플랫폼 설득 판단의 주관적 경계를 식별해 줍니다. 이러한 결과는 개인 에이전트 평가가 단순한 작업 완료를 넘어 대표성 있고, 동의를 인지하며, 증거에 기반한 행동(consent-aware, evidence-grounded action)으로 나아가야 함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기