SFTMill: OpenAI 호환 엔드포인트를 사용하여 기존 LLM을 쉽게 [Off-Policy] 증류

여러분 안녕하세요 - 반은 튜토리얼/가이드이고, 나머지 반은 제가 직접 만든 것이라 자료를 찾아봤습니다. 이것은 최근에 좋은 기존 솔루션을 찾지 못해서 저 스스로 만든 것입니다. 이 게시물은 AI의 도움 없이 제가 직접 작성했습니다! 아마 여러분 중 상당수는 제가 자체 합성 데이터셋을 사용하여 AliceAI 80B A3B를 미세 조정하는 것에 대한 제 게시물을 보셨을 겁니다. 만약 그러셨다면, 저는 지금도 라이브 스트림에서 그것을 계속 미세 조정하고 있습니다. 여기 https://figure-bios-expect-cio.trycloudflare.com/ 을 확인해 보세요. 이 엔진으로 제가 생성한 모든 훈련 데이터를 검사할 수 있게 해줍니다. 관심 있으시면 정말 멋집니다! 안타깝게도 그 링크는 데스크톱 전용으로 최적화되어 있고, 재설정하려면 실행을 중단해야 하므로 휴대폰을 돌려보시는 것이 좋을 겁니다. 해당 스레드는 https://www.reddit.com/r/LocalLLaMA/comments/1wslgkw/comment/pcw4kgw/?context=1&screen_view_count=1 에 있었습니다. 그 실행은 Off-policy 증류를 사용하고 있으며, 이것이 제가 이 도구를 만든 이유입니다. 이 저장소와 함께한 프로젝트의 훈련 데이터이며, OSS 출시를 위해 맞춤 설정했습니다. 기본적으로 목표에 대한 '커리큘럼'을 만듭니다. 예를 들어, 에이전트 모델을 훈련시킨다면, 도구 호출(tool calls), 버그 수정(bug fixing), 작업 공간에서 작업하기(working in a workspace), 오류 추적(tracing errors) 등과 같은 것들이 필요할 것입니다. YAML 파일에 커리큘럼을 정의하면, LLM이 정의한 커리큘럼을 기반으로 작업을 생성하고, 선택된 LLM은 각 작업을 해결하여 미세 조정 목표를 포괄하는 전체 Q/A 세트를 남깁니다. 저는 Medium에서 qwen 3.8 27b를 사용하여 작업을 생성했습니다. 그보다 약한 것은 피하시는 것을 추천합니다. 제가 사용하던 개인 저장소의 내용을 SFTMill로 포크했는데, 이것은 기본적으로 동일하지만 훌륭한 문서화와 누구나 빠르게 참여할 수 있도록 몇 가지 단계를 추가한 것입니다. 저는 이 목적을 위해 이러한 설계로 만들어진 기존 소프트웨어를 찾을 수 없었기 때문에 [그리고 저의 원래 버전] 이를 만들었습니다.

제가 기여하는 것을 즐기기 때문에 공개합니다. 그리고 언젠가 누군가가 제 작업물 중 하나를 보고 저를 고용하고 싶어 할 것이라는 막연한 희망이 있습니다 (만약 이 글을 읽고 계시고 프로젝트가 마음에 들며 원격 또는 NYC에서 소프트웨어/ML 엔지니어가 필요하시다면, 알려주세요 <3). 제가 만든 소프트웨어가 다른 사람들을 돕는 것을 볼 때 행복함을 느끼기 때문에, 도움이 되었다면 저에게 알려주시면 좋겠습니다. 감사합니다! 경험이 부족했던 영역에서 제 alice 트레이닝을 도와준 u/FullOf_Bad_Ideas님께 감사드립니다 - 이 부분을 당신만을 위해 readme에 Multi-Turn Hybrid-Reasoning (사용자 <> 어시스턴트) 섹션을 추가했습니다. 도움이 되기를 바랍니다. https://github.com/jackjusko/sftmill /u/jjusko20 제출 [링크] [댓글]