Anna는 콘도를 팔 계획을 세우고 있었습니다. 그녀는 2024년 8월에 이사했고, 세금 측면에서 2026년 10월 또는 2027년 1월 중 어느 시점에 매각하는 것이 더 좋을지 알고 싶었습니다.
한 AI 에이전트가 두 옵션을 검토하여, 어떤 날짜를 선택하든 최대 $250,000까지 면제되는 양도차익에 대한 거주 요건을 충족한다는 결론을 올바르게 내렸습니다.
하지만 중요한 마감일을 놓쳤습니다.
일반적인 규정에 따르면, 주택 소유자는 면제를 받기 위해 매각 전 최소 5년 중 2년 이상 해당 부동산에 거주해야 합니다. Anna가 2024년 8월에 이사를 했기 때문에, 그녀는 그 요건을 2027년 8월 말경부터 충족하지 못하게 됩니다. 만약 매각이 2027년 8월 이후로 지연된다면, 자격 상실의 위험이 있습니다.
다섯 번의 시도 동안 Astra는 이 마감일을 전혀 식별해내지 못했습니다. 반면 Opus는 다섯 번의 모든 시도에서 이를 찾아냈습니다.
에이전트는 제안된 날짜를 정확하게 평가했지만, 그 조언은 Anna가 주요 재정적 결정을 내리는 데 영향을 줄 수 있는 마감일에 대해 알지 못하게 했습니다. 세무 자문가는 고객이 질문할 필요조차 모르는 경우에도 결과적인 문제를 인식해야 합니다.
이는 Surge AI의 DAYJOB 벤치마크 제품군에 가장 최근 추가된 DAYJOB: Tax를 통해 우리가 테스트하고 있는 전문적 판단력입니다.
DAYJOB: Tax 소개
DAYJOB은 전문 지식, 복잡한 자료, 그리고 초기 지침에서 완전히 명시되지 않은 결정이 필요한 전문 세무 과제를 AI 에이전트가 수행하는 능력을 평가합니다. 이전 버전에서는 의료(Healthcare)와 금융(Finance) 분야를 다루었습니다. DAYJOB: Tax는 이러한 작업을 세금 신고 준비, 규정 준수 및 자문 서비스 영역으로 확장했습니다.
이 벤치마크에는 세무 실무의 여덟 가지 영역에 걸쳐 50개의 환경이 포함되어 있습니다. 에이전트는 고객 요청과 지원 기록을 받고, 이후 세금 보고서, 작업 문서(workpapers), 기술 검토 또는 고객 자문을 생성합니다.
이 과제들은 세무 지식, 계산 능력, 정보 검색(retrieval), 그리고 지시 사항 준수 능력을 전문적 판단력과 함께 테스트합니다. 에이전트는 어떤 것이 조사가 필요한지 결정하고, 상충되는 증거를 해결하며, 정보가 불충분한 경우를 인식하고, 이러한 결정을 최종 결과물에 반영해야 합니다.
결과: 리더보드 및 파레토 프론티어 (Pareto Frontier)
Claude Sonnet 5.5가 DAYJOB: Tax 리더보드에서 10.8%의 합격률로 선두를 차지했으며, 그 뒤를 Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%로 따랐습니다.
DAYJOB: Tax leaderboard
저희는 95% 루브릭 임계값(rubric threshold)에서의 pass@1을 보고합니다. 시도는 과제의 기준 중 최소 95%를 충족할 때 합격으로 간주되는데, 이 기준에는 계산, 뒷받침되는 증거, 결과적인 문제점, 그리고 완성된 산출물이 포함됩니다.
성능 대 비용
저희는 또한 모델의 성능을 평균 시험당 비용과 비교했습니다.
Claude Sonnet 5.5와 Opus 5.5는 측정된 파레토 프론티어의 고성능 영역을 차지합니다.
전문 세무 업무의 폭넓은 범위
DAYJOB: Tax는 8가지 영역을 다루며, 각 영역은 서로 다른 규칙, 기록 및 전문 지식을 요구합니다:
개인 및 가족 세금소기업 세금파트너십부동산 및 투자재산 상속, 증여 및 신탁국제 세금법인 거래****세무 검토 및 분쟁
일부 과제는 뒷받침되는 작업 서류(workpapers)가 포함된 완전한 신고 패키지를 요구합니다. 다른 과제들은 에이전트에게 거래를 조사하거나, 이전 신고서를 검토하거나, 고객이 아직 결정하지 않은 사안에 대한 자문을 준비하도록 요청합니다.
과제 내용물은 무엇인가요?
이 벤치마크는 **1,789개의 작업 공간 파일(workspace files)**을 포함하고 있으며, 평균은 과제당 30개이고 최대 123개에 달합니다. 여기에는 PDF 1,487개, Excel 워크북 117개, Word 문서 38개와 추가적인 이메일, 이미지, CSV, JSON 기록 및 텍스트 파일이 포함됩니다.
작업 공간에는 신고된 세금 보고서 및 초안, K-1 양식, W-2 양식, IRS 통지서, 총계정원장(general ledgers), 급여 기록, 계약서, 서신 등이 포함됩니다. 또한 세무 전문가가 일상적으로 다루는 덜 표준화된 증거 자료도 포함되어 있습니다.
한 과제에는 재판매용 상품 구매에 대한 수기 영수증 사진이 포함되어 있습니다. 에이전트는 품목 설명과 금액을 읽고, 이를 지출 기록과 조정하며, 해당 구매가 재고 및 매출원가(cost of goods sold)에 어떻게 영향을 미치는지 판단해야 합니다.
Photograph of a handwritten receipt for merchandise purchased for resale, from a DAYJOB: Tax workspace
또 다른 과제는 클라이언트가 애라바마주에서만 운영한다고 가정하는 산업용 사일로 서비스 회사와 관련되어 있습니다. 그러나 해당 회사의 현장 출동 기록(field dispatch log)에는 5개 주에 걸쳐 근무한 크루들이 표시됩니다. 작업 위치, 크루 규모, 현장 체류 일수는 이 회사의 다주(多州) 세금 의무와 관련된 증거를 제공합니다.
Field dispatch log from a DAYJOB: Tax workspace
다른 환경들 역시 유사하게 다양합니다. 한 사례는 폴란드 고용 및 재산 기록이 암호화폐 거래소 수출 기록, 지갑 내역, 과거 구매 물량과 조정되어야 하는 국경을 넘나드는 가구와 관련됩니다.
세무 전문가가 작성하고 검토함
DAYJOB 과제는 실제 직업 워크플로우로 시작합니다. 세무 전문가들은 이러한 상황들을 현실적인 과제로 전환하여, 지원 기록(supporting records), 예상 결과(expected outcomes), 그리고 채점 기준을 개발합니다. 각 과제는 정확성, 완전성, 해결 가능성에 대해 3단계의 전문가 검토를 거칩니다.
세무 전문가들은 법인세(corporate taxation), 파트너십(partnerships), 개인 소득 신고서(individual returns), 신탁(trusts), 그리고 다주 규정 준수(multistate compliance)에 걸쳐 경험을 보유하고 있습니다. 그들의 배경은 다음과 같습니다:
법인 및 사모펀드 세금: PwC, Deloitte, Exxon 등지에서 10년 이상의 경력을 가진 세무 변호사로, 세금 계획(tax planning), 규정 준수(compliance), 감사(audits), 그리고 분쟁(controversy)을 다룹니다.
파트너십 및 법인세: PwC, Moss Adams, Windes 등지에서 경험을 쌓은 Baker Tilly의 세무 이사로, 복잡한 파트너십 배분(complex partnership allocations), 통합 법인세 신고서(consolidated corporate returns), REITs, 그리고 고액 자산가 고객에 특화되어 있습니다.
부동산 및 개인 세금: Deloitte와 EY에서 경험을 쌓은 세무 전문가로, 부동산 파트너십(real-estate partnerships), 개인 세금(individual taxation), 그리고 신탁(trusts)을 전문으로 합니다.
검증되지 않은 가정에 기반한 은퇴 계획
별거 중인 커플이 AI 에이전트에게 Roth IRA와 401(k)를 어떻게 분할해야 하는지 물었습니다. Opus 5.5는 그들이 법적으로 결혼하지 않았다고 말하며, 계좌들을 분리하고 잔액을 맞추기 위해 현금 지급을 할 것을 권장했습니다.
이 응답은 다음과 같았습니다:
"당신들은 법적으로 결혼하지 않았기 때문에, 세금과 벌금을 유발하지 않고는 어느 계좌도 분할할 수 없습니다."
h지나 커플 자신의 기록은 그 결론에 의문을 제기했습니다. 비록 현재 플로리다(Florida)에 거주하고 있어 새로운 사실혼 결혼(common-law marriages)이 일반적으로 인정되지 않지만, 이들은 이전에 텍사스(Texas)에서 함께 살았고 콜로라도(Colorado)에서 결혼식을 올린 적이 있습니다. 텍사스는 특정 조건 하에 비공식적인 결혼을 인정하며, 다른 곳에서 성립된 유효한 결혼은 플로리다에서도 유효할 수 있습니다.
이러한 구별(차이점)은 은퇴 계좌를 분할하는 세금 결과를 바꿀 수 있습니다.
다섯 번의 시도 전체에 걸쳐, Opus는 불확실성을 인정했을 때조차 커플이 미혼이라는 가정에 기반하여 권장 사항을 제시했습니다. Astra는 다섯 번의 시도 중 네 번에서 그들의 결혼 상태를 확인할 필요성을 인식했습니다. 한 응답은 다음과 같이 조언했습니다:
"먼저 귀하의 법적 결혼 상태를 확인해야 합니다."
고객은 계좌 분할 방법을 물었습니다. 에이전트는 어떤 조치를 권장하기 전에 그들이 결혼했는지 여부를 확립해야 했습니다. 이러한 조사를 유발했어야 할 증거는 이미 파일에 있었습니다.
DAYJOB: Tax가 적합한 지점
대부분의 기존 세금 벤치마크는 정의된 문제로 시작합니다: 답변해야 할 법적 질문, 계산할 신고서, 또는 수집해야 할 누락된 납세자 정보 등입니다. 이러한 평가는 중요한 역량을 측정하지만, 세무 전문가 업무의 상당 부분은 실제로 문제가 무엇인지 파악하는 것을 포함합니다. 고객들은 불완전한 지침을 제공하고, 기록에는 상충되는 증거가 담겨 있으며, 결과적인 문제들은 원래 요청에 결코 나타나지 않을 수 있습니다.
DAYJOB은 에이전트가 고객이 간과한 문제 식별, 상충되는 증거 평가, 그리고 애초에 무엇을 해야 할지 결정하는 것을 포함하여 해당 엔드투엔드 책임(end-to-end responsibility)을 처리할 수 있는지 테스트합니다.
TaxBench
모델이 어려운 세금 질문에 답할 수 있는가?
TaxBench는 정의된 문제와 채점 기준표를 가진 여러 전문 분야의 114개 세금 질문을 평가합니다.
DAYJOB은 또한 고객이 올바른 질문을 했는지 여부도 묻습니다. 안나(Anna)는 콘도를 판매하기 위한 두 날짜를 비교하고 싶어 합니다. 두 날짜 모두 세금 면제에 필요한 거주 요건을 충족하지만, 에이전트가 그 자격이 만료될 수 있다는 점을 경고할까요?
TaxCalcBench
모델이 정확한 신고액을 계산할 수 있는가?
TaxCalcBench는 현실적인 세금 문서와 납세자 시나리오를 사용하여 예상 신고 가치 대비 세금 보고서의 정확성을 평가합니다.
DAYJOB은 또한 근본 기록이 실제로 해당 세무 처리를 뒷받침하는지 여부도 묻습니다. 스튜디오의 장부가 첨부된 영수증을 참조하고 있지만, 영수증이 누락되었습니다. 에이전트는 누락된 증거를 플래그 지정할까요, 아니면 상환액을 검증된 것으로 잘못 처리할까요?
TaxLab
에이전트가 누락된 정보를 수집하고 올바르게 신고할 수 있는가?
TaxLab은 에이전트가 시뮬레이션된 납세자에게 질문을 하고, 누락된 정보를 얻고, 연방 개인 세금 보고서(federal individual tax return)를 완성할 수 있는지 테스트합니다.
DAYJOB은 그 책임을 더 광범위한 세무 전문 분야로 확장합니다. 산출물은 파트너십 손실 분석, 상속세 신고서, 분쟁 중인 세금 포지션 검토 또는 전략 서신일 수 있습니다.
핵심적인 차이점은 에이전트에게 남아 있는 책임의 정도입니다. DAYJOB은 에이전트가 결과적인 문제(consequential issues)를 발견하고, 전문적 판단을 행사하며, 그 결과를 완료된 신고, 검토 또는 권장 사항까지 이끌어낼 수 있는지 평가합니다.
DAYJOB: Tax가 측정하는 것들
DAYJOB은 AI 에이전트가 전문적인 과제를 처음부터 끝까지 주도할 수 있는지 테스트합니다. 이는 복잡한 기록을 탐색하고, 고객이 제기하지 않은 문제를 식별하며, 불완전한 정보로 건전한 판단을 내리고, 전문적인 기준을 충족하는 결과물을 제공하는 것을 의미합니다.
그 결과는 이것이 최첨단(frontier) 모델들에게 얼마나 어려운 일인지 보여줍니다. 에이전트가 개별 단계를 수행할 수 있더라도, 전문적인 판단을 행사하고 실제 세무 워크플로우를 신뢰성 있게 처리하는 것은 여전히 도달하기 어려운 수준입니다.
에이전트들은 아직 감사를 통과하지 못했습니다.
우리가 평가한 모든 모델을 포함하는 전체 리더보드는 DAYJOB: Tax 벤치마크 페이지에서 확인할 수 있습니다.
더 자세히 알아보고 전체 벤치마크 접근을 요청하려면 [email protected]로 문의하십시오.
