대규모 언어 모델 (LLM) 에이전트들이 정적 벤치마크 (static benchmarks)에서는 숙련도를 보여주지만, 사용자 질의, 도구 세트, 그리고 상호작용 역학의 동적인 특성으로 인해 실제 환경에서의 배포에는 어려움을 겪고 있습니다. 이러한 일반화 격차 (generalization gap)를 해결하기 위해, 우리는 질의 (query), 행동 (action), 관찰 (observation), 그리고 도메인 (domain) 차원에 걸친 분포 변화 (distributional shifts)를 특징으로 하는 문제 설정인 OpenAgent (Open-World에서의 도구 사용 에이전트)를 공식화합니다. 그 영향을 체계적으로 진단하기 위해, 우리는 인지 (Perception), 상호작용 (Interaction), 추론 (Reasoning), 그리고 내재화 (Internalization)라는 4단계 계층 구조에 걸쳐 세밀한 환경 변화를 정의한 통제된 샌드박스 환경을 구축하고 종합적인 실험 시리즈를 수행합니다. 우리의 분석은 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 강화학습 (Reinforcement Learning)을 통해 학습된 에이전트들이 오픈 환경 변화에 직면했을 때 다양한 정도의 성능 저하를 겪는다는 일련의 핵심 통찰을 제공합니다. 이러한 통찰을 바탕으로, 우리는 에이전트의 실제 환경에서의 강건성 (robustness)과 유용성을 향상시키기 위한 기초를 마련하는 SFT를 위한 교란 기반 개입 전략인 섭동 증강 미세 조정 (Perturbation-Augmented Fine-Tuning)을 제안합니다. 우리의 코드는 다음 주소에 공개될 예정입니다: https://github.com/LAMDA-NeSy/OpenAgent.