ArcANE: 에이전트가 적절한 시점에 캐릭터를 유지하는가?

요약

ArcANE은 에이전트가 정적인 회상을 넘어 심리적 서사를 따르며 캐릭터를 유지하는지 테스트하는 새로운 벤치마크입니다. 17권의 소설과 80명의 캐릭터를 활용하여 원문 텍스트를 벗어난 시나리오에서의 캐릭터 일관성을 평가합니다.

핵심 포인트

• 기존의 정적 회상 중심 벤치마크 한계 지적
• 심리적 서사(psychological arcs) 추종 능력 평가
• 17권의 소설과 80명의 캐릭터를 포함한 방대한 데이터셋
• 미지의 시나리오에서의 캐릭터 유지 능력 검증