Firefly: 실제 API로부터 대규모 검증된 도구 호출 (Tool-Call) 데이터 생성 방법론

요약

Firefly는 실제 MCP 서버를 활용하여 검증 가능한 도구 호출(Tool-calling) 데이터를 생성하는 역방향 합성 파이프라인을 제안합니다. 태스크를 먼저 생성하는 대신 실제 API를 먼저 탐색한 후 태스크를 역으로 합성함으로써 데이터의 정확성을 보장하며, 환경 드리프트 문제를 해결하기 위해 검색 증강 시뮬레이터를 구축했습니다. 이 방법론으로 학습된 4B 모델은 Claude Sonnet 4.6과 대등한 성능을 기록하며 도구 호출 벤치마크에서 우수한 성능을 입증했습니다.

핵심 포인트

• 표준 합성 파이프라인을 역전시켜 실제 API 탐색 후 태스크를 생성하는 방식으로 레이블의 정확성 확보
• 약 1,000개의 도구를 효율적으로 처리하기 위해 쌍별 도구 그래프와 서브 DAG 샘플링 기법 도입
• 라이브 API의 환경 변화에 대응하기 위해 탐색 결과를 캐싱하고 재현하는 검색 증강 시뮬레이터 구축
• Firefly로 학습된 4B 모델이 대형 모델인 Claude Sonnet 4.6 수준의 도구 호출 성능 달성