개인 이메일 에이전트는 모든 메시지에 대해 그것이 무엇인지, 긴급한지 여부, 답장을 초안 작성해야 하는지, 작업을 생성해야 하는지, 아니면 무시해야 하는지를 결정합니다. 이들의 오류율은 거의 측정되지 않는데, 저장된 레이블 자체가 시스템에 의해 작성되었기 때문입니다. 우리는 일상적으로 사용되는 자체 호스팅 개인 받은 편지함 에이전트인 Foyer와, 훈련 전에 '진실의 근거(ground truth)'를 산출하는 측정 프로토콜(층화 샘플링(stratified sampling), 고정 스냅샷(frozen snapshots), 스레드 그룹 분할(thread-grouped splits), 사전 등록 가설(pre-registered hypotheses), 에이전트 검토 루프 내 인간 레이블)을 제시합니다. 소유자가 레이블링한 739개의 실제 이탈리아어/영어 이메일(편향되지 않은 것 231개, 적대적으로 샘플링된 것 500개)을 대상으로 스레드 그룹 교차 검증 하에 아홉 가지 시스템을 비교했습니다. 해당 시스템들은 기존의 키워드 규칙, TF-IDF + 로지스틱 회귀 기준선, 로컬 유형 결정 모델(Tev1, Nimble), 호스팅형 결정 모델(Nimble v4-max), 그리고 호스팅형 생성형 LLM(Qwen2.5-7B, Gemma 4 26B/31B)입니다. 네 가지 결과가 도출되었습니다. 기존 규칙은 메시지 유형에 대해 다수 클래스인 58% 대비 28%의 점수를 기록했으며, 가장 눈에 띄게 표시된 필드는 아무런 정보도 담고 있지 않았습니다. 약 200개의 레이블을 가진 로지스틱 회귀는 모든 필드에서 가장 높은 정확도를 보였지만(유형 0.79, 긴급성 0.74, 답장 필요 여부 0.83, 노이즈 여부 0.90), 가장 희귀한 두 클래스는 예측하지 못했으며 유형에 대해서는 Gemma 4와 통계적으로 동등했습니다. 몇 회 프롬프팅(few-shot prompting)으로는 격차를 좁히지 못했습니다. 발신자의 관계(클라이언트, 공급업체, 서비스 제공자)는 해당 연락처가 이전에 확인된 경우 동일 연락처의 다른 이메일에서 98.6%의 정확도로 복구되었으며, 단일 메시지만으로는 어떤 모델도 추론할 수 없습니다. 이는 프롬프트에 속하는 것이 아니라 연락처 그래프(contact graph)에 속합니다. 마지막으로, 단순히 정확도가 제품 지표가 아닙니다. 행동으로 구성했을 때, 가장 정확한 시스템은 필요로 하는 이메일을 가장 자주 무시했습니다(18% 대 최고의 LLM의 4%). 노이즈 확률에 대한 비용 선택 임계값(cost-chosen threshold)을 적용하면 그 비율이 절반으로 줄어들고 가장 저렴한 시스템이 됩니다.