업데이트 #5: 사전에 학습된 yandex/AliceAI-80B-A3B [지시문 기반!]부터 시작

따라와 주신 분들을 위한 마지막 업데이트입니다: https://www.reddit.com/r/LocalLLaMA/comments/1wxlytt/comment/pdz728b/?screen_view_count=1 프로젝트를 한 문장으로 요약하자면, agentic work(에이전트 작업)과 대화가 가능한 ALiceAI-80B-A3B-Base의 지시문 기반 파인튜닝입니다. 저는 모델에게 chain of thought reasoning(사고의 사슬 추론)과 대화를 가르치기 위해 qwen 3.8 27b를 medium에서 얕은 증류(shallow distill)하고 있습니다. 모든 학습은 3개의 32gb v100s에서 로컬로 진행됩니다. 또한, 모든 학습 데이터는 sftmill을 통해 해당 V100s에서 로컬로 생성되고 있습니다. 지금까지 저는 학습 실행을 하고 그 진행 상황을 라이브 스트리밍 해왔습니다. 마지막 업데이트에서는 underfitting(과소적합)에 대해 설명하고 다음 단계를 안내했습니다. 학습이 다시 시작되었습니다! underfitting을 줄이기 위해 이번에는 훨씬 더 큰 일반 지시문 궤적(general instruct trajectory)에 걸쳐 약 5M 토큰을 추가로 합성하여 SFT를 진행했습니다. 원래 LoRA 어댑터보다 학습률을 약 4배 낮췄습니다. 다시 학습을 라이브 스트리밍합니다: https://geological-estimate-fifth-pct.trycloudflare.com/ - 아래로 급격히 떨어지는 큰 손실 스파이크는 SFT 리플레이 버퍼에서 발생하고 있습니다. 이번 세션은 12~14시간 동안 지속될 것으로 예상하며, 충분하지 않으면 다른 에포크를 실행할 계획입니다. 계속 지켜봐 주세요! 따라와 주셔서 감사합니다. /u/jjusko20 작성