몇 비트로 양자화(quantized)되어 휴대폰에서 실행될 수 있을 만큼 작은 언어 모델들은 점점 더 사용자를 대신하여 행동할 수 있는 능력을 갖추고 있으며, 이는 온디바이스(on-device) 작업 자동화를 새롭게 가능하게 만들고 있습니다. 그러한 작업 중 하나가 전화를 받는 것입니다. 전화 비서는 소유자를 대신하여 발신자가 누구인지 모르는 수신 전화를 받습니다. 대부분의 벤치마크에서 평가되는 에이전트(agents)와 달리, 이 에이전트는 완료해야 할 작업도 없고 협력적인 사용자도 없습니다. 즉, 통화자가 목표를 가지고 있으며 적대적일 수도 있고, 정답(oracle) 없이 첫 번째 턴에서 판단을 내려야 합니다. 중요한 것은 작업의 성공 여부가 아니라, 소유자가 자신의 대리인이 전화를 처리한 방식에 동의할지 여부입니다. 우리는 이 설정을 다섯 가지 품질 차원에서 점수화하는 CallScreenBench를 제시합니다. 각 차원은 이를 산출하는 대조 지표(counter-metric) 옆에 표시되며, 단일 숫자로 평균화되지 않습니다. 또한 자격 증명(credentials)을 보유하지 않고 도구(tools)를 호출하지 않는 도구 없는 대리인(toolless proxy)에 대한 방어 프로필(guardedness profile)을 보고합니다. 6개의 온디바이스 모델(0.6-4B 파라미터, 4-bit 양자화)에 대해, 품질은 성능에 따라 확장되지만, 분류(triage)는 그렇지 않습니다. 분류가 확장되는 것처럼 보이는 것은 측정의 결과물(artifact)입니다. 스크립트로 작성된 퇴보적 에이전트(degenerate agents)들이 결여된 하한선(floors)을 제공합니다. 이를 보정하면, 사전 등록된 작동 지점에서 분류 성능이 분리되는 모델 쌍의 수는 15개 중 11개에서 0개로 떨어집니다. 단순히 전화를 끊고 발화자의 말을 그대로 따라 하는 에이전트 또한 완벽한 메시지 충실도(message fidelity) 점수를 받습니다. 우리는 우리의 자체 지표 중 어떤 것들이 이러한 하한선에 의해 무력화되는지 보고하며, 합격/불합격(pass/fail) 임계값은 선언하지 않습니다.