AI 에이전트는 작업의 난이도를 알고 있는가? 복잡도 인식 추론 및 실행을 향하여
요약
본 논문은 LLM 에이전트가 작업의 난이도와 필요한 정보 범위를 정확히 추정하는 '작업 인식 실행 범위 추정' 기능을 제안합니다. 이를 통해 불필요한 재독 및 과도한 작업을 줄이고, 최소 충분 실행(minimum-sufficient execution)을 목표로 합니다. 제안된 E3 프레임워크는 기존 에이전트 대비 비용, 토큰 사용량, 검사 파일 수 등을 대폭 절감하며 높은 성공률을 유지했습니다.
핵심 포인트
- 작업 인식 실행 범위 추정은 LLM 에이전트의 핵심 부족 기능입니다.
- E3(Estimate, Execute, Expand) 프레임워크를 통해 효율성을 극대화합니다.
- MSE-Bench 벤치마크에서 비용 및 토큰 사용량을 크게 절감했습니다.
- 이는 '엔지니어링 기반 AI(EGAI)'로 나아가는 중요한 단계입니다.
대규모 언어 모델(LLM) 에이전트들은 다단계 엔지니어링 및 정보학 워크플로우를 점차 자동화하고 있지만, 실제로 어떤 노력이 필요한지는 거의 묻지 않습니다. 이들은 종종 최대 컨텍스트 우선 전략을 따르는데, 이는 이미 본 파일과 의존성을 재독하는 방식으로 인해 한 줄의 수정 작업을 작은 코드베이스 감사로 변질시킵니다. 우리는 부족한 기능이 작업 인식 실행 범위 추정(task-aware execution-scope estimation)이라고 주장합니다. 즉, 작업의 난이도, 실제로 필요한 정보, 그리고 예산을 투입하기 전까지 가장 짧고 신뢰할 수 있는 경로를 판단하는 것입니다. 우리는 최소 충분 실행(minimum-sufficient execution)과 에이전트 인지 중복률(Agent Cognitive Redundancy Ratio, ACRR)을 공식화하고, E3 (Estimate, Execute, Expand): 에이전트가 초기 작동 지점을 추정하고, 최소 생존 경로를 실행하며, 검증에 실패할 때만 범위를 확장하는 방식을 제안합니다. 121개의 수정 사항으로 구성된 역량 제어 시뮬레이터의 결정론적 벤치마크인 MSE-Bench에서, E3는 가장 강력한 기준선과 동일한 100% 성공률을 달성하면서도 비용을 85%, 토큰 사용량을 91%, 검사 파일 수를 92% 절감했으며, 추가적으로 강력한 적응형 검색 기준선보다 16% 더 나은 성능을 보였습니다. 이러한 이점들은 제외된 명령어 문구와 거의 모든 비용 가중치에 걸쳐 유지되었습니다. 동반되는 실제 모델 하네스(LLM-Case)는 실제 오픈 소스 라이브러리를 수정하는 live gpt-4o 에이전트에 대한 효과를 입증하며, 모든 후보 패치는 프로젝트의 실제 pytest 스위트를 측정된 오라클과 비교하여 실행함으로써 평가받았습니다. 과도한 읽기는 덜하지만 실제로 존재하며, E3는 유사한 작업 성공률에서 가장 간결하고 빠른 정책입니다—단점은 잘못된 수정이 아니라 제공업체의 속도 제한일 뿐입니다. 우리는 이를 배포된 에이전트의 측정이라기보다는 실행 중복성에 대한 통제된 탐색으로 규정하며, 작업 인식 실행을 엔지니어링 기반 AI(Engineering-Grounded AI, EGAI)로 나아가는 단계로 위치시킵니다—에이전트의 노력이 작업의 엔지니어링 현실에 고정되는 것. 우리는 프레임워크와 벤치마크를 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기