LATTICE: 암호화폐 에이전트의 의사결정 지원 유틸리티 평가

요약

LATTICE는 암호화폐 에이전트가 실제 사용자 시나리오에서 의사결정을 얼마나 잘 지원하는지 평가하기 위한 새로운 벤치마크입니다. 기존의 벤치마크들이 단순한 추론이나 결과 기반 평가에 머물렀던 한계를 극복하고, LATTICE는 6가지 핵심 의사결정 지원 차원과 16가지 작업 유형을 정의했습니다. 특히 LLM judges를 활용하여 전문가 주석이나 외부 데이터 없이도 대규모로 신뢰성 있게 에이전트 출력을 자동 점수화할 수 있도록 설계되었으며, 이는 프로덕션 레벨의 암호화폐 코파일럿 제품 평가에 중점을 둡니다.

핵심 포인트

• LATTICE는 암호화폐 에이전트의 의사결정 지원 능력을 측정하는 새로운 벤치마크를 제공합니다.
• 6가지 핵심 차원과 16가지 작업 유형을 정의하여, 단순한 결과 비교를 넘어선 깊이 있는 평가가 가능합니다.
• LLM judges를 사용하여 전문가 주석 없이도 대규모로 신뢰성 있게 에이전트 성능을 자동 점수화할 수 있습니다.
• 평가는 일반적인 모델 비교가 아닌, 실제 사용되는 프로덕션 레벨의 오케스트레이션 및 UI/UX 설계에 초점을 맞춥니다.
• 집계 점수가 유사하더라도 차원별/작업별 성능 분석을 통해 사용자 우선순위에 따른 최적의 코파일럿 선택이 가능함을 시사합니다.