에이전트가 오픈 월드에 일반화될 수 있는가? 도구 사용(Tool Use)에서 정적 학습(Static Training)의 취약성 규명

원문 발행 2026. 07. 02. 00:40원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

LLM 에이전트가 정적 학습의 한계로 인해 실제 오픈 월드 환경에서 겪는 일반화 격차 문제를 분석합니다. OpenAgent 프레임워크를 통해 환경 변화에 따른 성능 저하를 진단하고, 이를 해결하기 위한 섭동 증강 미세 조정(Perturbation-Augmented Fine-Tuning) 전략을 제안합니다.

핵심 포인트

정적 벤치마크와 실제 동적 환경 간의 일반화 격차 규명
OpenAgent: 질의, 행동, 관찰, 도메인 차원의 분포 변화 정의
인지, 상호작용, 추론, 내재화의 4단계 계층 구조 분석
강건성 향상을 위한 섭동 증강 미세 조정(PAFT) 전략 제안

대규모 언어 모델 (LLM) 에이전트들이 정적 벤치마크 (static benchmarks)에서는 숙련도를 보여주지만, 사용자 질의, 도구 세트, 그리고 상호작용 역학의 동적인 특성으로 인해 실제 환경에서의 배포에는 어려움을 겪고 있습니다. 이러한 일반화 격차 (generalization gap)를 해결하기 위해, 우리는 질의 (query), 행동 (action), 관찰 (observation), 그리고 도메인 (domain) 차원에 걸친 분포 변화 (distributional shifts)를 특징으로 하는 문제 설정인 OpenAgent (Open-World에서의 도구 사용 에이전트)를 공식화합니다. 그 영향을 체계적으로 진단하기 위해, 우리는 인지 (Perception), 상호작용 (Interaction), 추론 (Reasoning), 그리고 내재화 (Internalization)라는 4단계 계층 구조에 걸쳐 세밀한 환경 변화를 정의한 통제된 샌드박스 환경을 구축하고 종합적인 실험 시리즈를 수행합니다. 우리의 분석은 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 강화학습 (Reinforcement Learning)을 통해 학습된 에이전트들이 오픈 환경 변화에 직면했을 때 다양한 정도의 성능 저하를 겪는다는 일련의 핵심 통찰을 제공합니다. 이러한 통찰을 바탕으로, 우리는 에이전트의 실제 환경에서의 강건성 (robustness)과 유용성을 향상시키기 위한 기초를 마련하는 SFT를 위한 교란 기반 개입 전략인 섭동 증강 미세 조정 (Perturbation-Augmented Fine-Tuning)을 제안합니다. 우리의 코드는 다음 주소에 공개될 예정입니다: https://github.com/LAMDA-NeSy/OpenAgent.

AI 자동 생성 콘텐츠

원문 바로가기

에이전트가 오픈 월드에 일반화될 수 있는가? 도구 사용(Tool Use)에서 정적 학습(Static Training)의 취약성 규명

요약

핵심 포인트

댓글