Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 에이전트에 절차적 기술을 추가할 때 발생하는 '회귀세(Regression Tax)' 현상을 분석한 연구입니다. 기술 추가가 작업 성공률을 높일 수도 있지만, 오히려 기존에 성공하던 작업을 실패하게 만드는 회귀 현상이 발생함을 지적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 에이전트에 절차적 기술(procedural skills)을 추가하는 것은 일반적으로 작업 성공률의 평균 개선도를 통해 평가됩니다. 그러나 이 지표는 중요한 비용을 숨기고 있습니다. 즉, 기술이 에이전트를 더 나쁘게 만들 수도 있다는 점입니다. 우리는 두 개의 사무 자동화 벤치마크와 세 개의 모델 하네스 스택(model harness stacks)에 걸쳐 약 6,000회의 실행을 통해 기술이 있는 에이전트와 없는 에이전트를 비교함으로써 양면을 측정합니다. 이를 통해 두 가지 결과를 구분할 수 있습니다. 회귀(regression)는 기술 없이 해결되었으나 기술이 추가된 후 실패한 작업입니다. 잔차 실패(residual failure)는 기술이 있든 없든 모두 실패하는 작업입니다. 우리는 회귀가 상당히 상당하다는 것을 발견했으며, 가장 성능이 좋은 기술들은 더 많은 이득을 얻어서가 아니라 주로 회귀를 덜 일으킴으로써 다른 기술들보다 우수한 성능을 보인다는 것을 확인했습니다. 우리는 회귀의 세 가지 원인을 식별했습니다: (i) 기술 설명 삼투(skill description osmosis): 기술이 호출되지 않더라도 컨텍스트에 존재하는 것만으로 에이전트의 행동을 변화시키는 현상; (ii) 접지 치환(grounding displacement): 기술에 규정된 절차가 에이전트가 입력을 해석하는 방식을 무시하는 현상; (iii) 검증 치환(verification displacement): 절차가 에이전트가 평소 출력값에 대해 수행했을 검증을 억제하는 현상입니다. 지속적인 실패를 분석하면 동일한 근본 패턴이 드러납니다. 기존 기술들은 실패의 원인으로서 가장 적게 작용하는 단계인 절차적 안내(procedural guidance)를 과도하게 강조하는 반면, 잔여 오류의 주요 원인인 접지(grounding)와 검증(verification)에 대한 지원은 부족합니다. 평가 아티팩트(artifacts)를 수정하고 트레이스(traces)를 연구한 결과, 우리는 더 나은 접지와 검증을 통해 회복 가능한 많은 회귀와 지속적인 실패를 발견했습니다. 절차적 기술은 총체적인 개선도만으로 평가할 것이 아니라, 순효과를 이득(gains)과 회귀(regressions)로 분해하여 평가해야 합니다. 우리는 기술이 피해야 할 세 가지 회귀 모드를 식별하였으며, 신뢰성은 절차적 기술의 선택보다 접지와 검증에 더 크게 의존한다는 것을 발견했습니다.