더 나은 모델, 더 나쁜 도구 사용 능력

요약

Anthropic의 최신 모델에서 도구 호출(tool calling) 성능이 오히려 퇴보하는 현상이 관찰되었습니다. 이는 모델이 특정 Claude Code 하네스를 통해 강화학습되면서, 도구 선언의 미세한 차이에 민감하게 반응하는 오류를 유발하는 것으로 분석됩니다.

핵심 포인트

• Anthropic 최신 모델의 도구 호출 성능 퇴보 현상 발견
• Claude Code 하네스를 통한 강화학습이 원인으로 추정
• 도구 선언의 미세한 차이가 호출 오류를 유발할 수 있음