더 나은 모델, 더 나쁜 도구 사용 능력
요약
Anthropic의 최신 모델에서 도구 호출(tool calling) 성능이 오히려 퇴보하는 현상이 관찰되었습니다. 이는 모델이 특정 Claude Code 하네스를 통해 강화학습되면서, 도구 선언의 미세한 차이에 민감하게 반응하는 오류를 유발하는 것으로 분석됩니다.
핵심 포인트
- Anthropic 최신 모델의 도구 호출 성능 퇴보 현상 발견
- Claude Code 하네스를 통한 강화학습이 원인으로 추정
- 도구 선언의 미세한 차이가 호출 오류를 유발할 수 있음
제 글을 이곳에 올리고 싶은 드문 경우입니다. 이유는 Anthropic 모델의 최신 세대에서 도구 호출 (tool calling) 동작의 퇴보(regression) 현상을 추적하던 중, 그 결과로 나타난 동작이 당혹스럽고 상당히 문제가 있다고 판단했기 때문입니다. 해당 모델들은 소스 코드가 공개되지 않은 자체 Claude Code 하네스 (harness)를 통해 강력하게 강화학습 (RL)된 것으로 보이며, 도구 선언 (tool declarations)이 거의 비슷하지만 약간만 어긋나더라도, 이전 모델들에서는 나타나지 않았던 도구 호출 동작 오류가 발생할 것을 예상해야 합니다.
이곳의 분들에게 흥미로운 정보가 될 것 같아 공유합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Lobste.rs AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기