성공한 작업 기록이라고 다 좋은 학습 데이터는 아니다.

원문 발행 2026. 10. 29. 00:21원문 언어 한국어X 새 AI 모델 원문 보기

요약

Westlake University와 Ant International 연구진은 도구 사용 AI 에이전트의 학습 데이터 생성 방법인 Trajectory2Gym을 제안했습니다. 이 방법은 성공 기록만으로는 부족한 다단계 상황과 관찰 가능한 정보만을 활용하여 행동 데이터를 구축합니다. 이를 통해 Qwen3 모델 등에서 여러 턴 작업 수행 능력이 크게 향상됨을 입증했습니다.

핵심 포인트

Trajectory2Gym: 도구 사용 AI 에이전트의 학습 데이터 생성 방법론 제안
성공 기록의 한계점 극복: 다단계 상황 및 관찰 가능한 정보만 활용
학습 방식은 SFT에 집중하며, 여러 턴 작업에서 효과가 가장 큼
Qwen3 모델 등에서 주요 벤치마크 성능이 크게 향상됨을 입증

성공한 작업 기록이라고 다 좋은 학습 데이터는 아니다.

웨스트레이크대(Westlake University)와 Ant International 연구진이 도구를 쓰는 AI 에이전트의 학습 데이터를 새로 만드는 방법 Trajectory2Gym을 제안하는 논문을 냈다. Hugging Face Daily Papers에서 (작성 시점 기준) 최근 48시간 내 올라온 논문 중 추천 수가 가장 많다.

저자들은 성공한 기록에도 여러 단계가 이어지는 상황이 부족하거나, 그 시점에 AI가 볼 수 없던 정보로 한 행동이 섞여 있다고 지적했다. 이들이 모은 검증된 후보 기록 34,772개 중 40.9%는 학습할 결정이 2개 이하였다.

데이터 만들기: 부족한 다단계 상황(조회 실패 뒤 재시도, 사용자 확인 등)을 골라 원래 도구 환경에서 실제로 실행해 보는 과제를 만든다.
행동 골라내기: AI가 그 시점에 볼 수 있던 정보, 실행 결과, 작업 순서로 뒷받침되는 행동만 학습한다. 실패한 호출은 맥락으로 남기고, 그 뒤 복구하는 행동을 학습한다.
학습: 대화가 길어 학습 예시가 많이 나와도 대화 하나의 비중이 같도록 맞춰 지도 학습(SFT)만 한다. 강화학습은 쓰지 않았다.

저자들은 Qwen3 모델 5종(1.7B~~30B-A3B)에서 Tau1, Tau2, BFCL 세 벤치마크 평균이 16.9~~29.8%p 올랐다고 밝혔다. 학습한 4B 모델은 Tau2에서 69.17점으로, 학습 전 공개 30B-A3B 모델(28.33점)보다 높았다. 저자들은 효과가 이전 결과에 따라 다음 행동이 달라지는 여러 턴 작업에서 가장 컸다고 설명했다.

한계도 있다. BFCL의 단순 단일 호출 항목(Live Simple)은 5개 크기 중 4개에서 6~13점 떨어졌다. 저자들은 한 번만 호출하면 되는 질문에서도 정보를 더 모으려는 쪽으로 행동이 바뀐 탓으로 추정했다. 공개된 다른 에이전트 모델과의 비교는 학습 데이터와 연산량을 맞춘 비교가 아니다.

#AI논문 #AI에이전트 #LLM

https://t.co/socpUqsV9V

AI 자동 생성 콘텐츠

원문 바로가기

성공한 작업 기록이라고 다 좋은 학습 데이터는 아니다.

요약

핵심 포인트

댓글