https://github.com/Sayitobar/chat_llm_cookbook 이 프로젝트는 몇 달에 걸쳐 진행한 개인적인 작업입니다. M1 Pro에서 학습하고 실행한 6명 규모의 그룹 채팅을 2B 소형 로컬 모델로 얼마나 시뮬레이션할 수 있을지 보고 싶었습니다. 결과가 궁금하신가요?: - 재미있긴 하지만, 아주 뛰어나지는 않습니다. 일관성 있고 응집력 있는 그룹 시뮬레이션을 달성하지는 못했지만, 저희의 은어(slang), 반응, 대화 속도 등을 충분히 학습하여 재미를 느낄 수 있습니다. 생성된 메시지들이 우리가 실제로 타이핑하는 내용과 매우 유사합니다. - 어느 정도의 일관성은 있지만 깊은 이해도는 부족하며, 모델이 우리에 대한 정보(저희 이름이나 아주 명백한 몇 가지 사실 제외)를 유지하지는 못합니다. 논문 상으로는 얼마나 좋을까요?: - 저는 judge LLM을 사용하여 제 모델들의 성능을 평가했습니다. 가장 좋은 버전은 인간 대 모델 테스트에서 80%의 승률을 기록했는데, 이상적인 수치는 <50%입니다. 가장 중요한 것은, 이 모델을 여러분의 데이터로 학습시키면 채팅하는 재미가 매우 크다는 것입니다. (반드시 동의를 구해주세요) Cookbook: 재현 가능한 로컬 파이프라인, 채팅 UI, 인간 기반 평가(human-anchored evaluation), 결과 및 실험 PDF를 공개했습니다. 개인적인 채팅 데이터나 파인튜닝된 가중치(weights)는 공개하지 않습니다 :) 참고로, 제가 진행한 모든 테스트는 터키어로 이루어졌습니다. 이 프로젝트는 아직 미완성입니다. 제가 테스트하지 않은 아키텍처와 훈련 데이터 형식들이 남아있거나, 2026년 9월 기준으로 아직 출시되지 않은 더 강력한 2B 모델들이 있기 때문입니다. submitted by /u/BarisSayit [link] [comments]