llama.cpp를 사용하여 로컬에서 실행되는 자동화된 AI 연구원

요약

Hugging Face에서 오픈 소스 라이브러리 및 Hub 인프라와 에이전트(agents)의 통합을 돕는 하네스인 ml-intern을 공개했습니다. 이 도구는 원래 Claude Opus를 위해 개발되었으나, 최근 llama.cpp 또는 ollama를 통해 로컬 모델로 실행할 수 있는 기능을 추가하여 접근성을 높였습니다. 이를 통해 Qwen3.6-35B-A3B와 같은 오픈 모델을 활용해 CPU/GPU 샌드박스 및 작업을 오케스트레이션하며 엔드 투 엔드 SFT가 가능한 AI 연구원을 구축할 수 있습니다.

핵심 포인트

• ml-intern은 에이전트의 Hugging Face 라이브러리 및 Hub 인프라 통합을 위한 하네스입니다.
• llama.cpp 또는 ollama를 지원하여 로컬 환경에서 ml-intern 실행이 가능해졌습니다.
• Qwen3.6-35B-A3B와 같은 오픈 모델로 CPU/GPU 샌드박스와 작업을 오케스트레이션하며 SFT가 가능합니다.
• 사용자는 토큰 제한에 구애받지 않고 노트북에서 장시간 작동하는 AI 연구원을 구축할 수 있습니다.