에이전트적 기권 (Agentic Abstention)
요약
LLM 에이전트가 행동을 멈춰야 할 시점을 판단하는 능력을 평가하고, 적시 기권(timely abstention)의 중요성을 다룹니다. CONVOLVE 기술을 통해 미세 조정 없이도 에이전트의 기권 비율을 크게 향상시킬 수 있음을 보여줍니다.
핵심 포인트
- LLM 에이전트의 적시 기권(timely abstention) 능력 평가
- 웹, 터미널, QA 환경 등 28,000개 이상의 태스크 분석
- CONVOLVE를 통한 기권 비율 26.7%에서 57.4%로 향상
- 별도의 모델 미세 조정 없이 성능 개선 가능
LLM 에이전트들은 행동하는 대신 언제 멈춰야 하는지를 알고 있을까요?
우리는 웹(web), 터미널(terminal), QA 환경에서 28,000개 이상의 태스크를 통해 13개의 에이전트 시스템을 평가합니다.
대부분의 에이전트들은 기권(abstain)을 하더라도 너무 늦게 하거나, 아예 하지 않습니다.
CONVOLVE는 별도의 모델 미세 조정 (fine-tuning) 없이도 적시 기권 (timely abstention) 비율을 26.7%에서 57.4%로 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0