Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
작성자가 제2차 세계 대전(WWII) 정보에 특화된 소규모 도메인 언어 모델 'Peacebell'을 공개했습니다. 291M 및 148M 파라미터 버전의 가중치와 학습 자료를 오픈소스로 제공하며, 새로운 주제별 벤치마크도 구축했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지난 11개월 동안 평일 저녁과 주말 시간을 활용하여 작고 특정 분야에 특화된(domain-specific) 언어 모델을 만들고 다듬는 작업을 해왔습니다. 이 모델은 제2차 세계 대전(World War II)에 관한 정보에 특화되어 있습니다.
가장 많이 받는 질문은
저는 학습 자료와 가중치(weights)를 오픈소스로 공개했습니다. 이 모델에는 두 가지 버전이 있습니다. 291M 파라미터 버전과 더 작은 148M 파라미터 버전입니다.
150M으로 모델 크기를 제한하는 다양한 HuggingFace 대시보드에서 경쟁하기 위해 148M 버전을 만들었습니다. 그리고 WWII 주제에 초점을 맞춘 새로운 벤치마크를 구축했는데, 이것 또한 허브(hub)에 올라와 있습니다. 다만 질문들은 사람들이 학습 데이터로 사용하지 못하도록 비공개입니다 (그리고 아닙니다. Peacebell의 학습 데이터에도 포함되어 있지 않습니다).
여기에서 291M 모델을 무료로 사용해 보실 수 있습니다. 사용하실 때 염두에 두세요. 이것은 첫 번째 버전이며, 아직 미흡하고 항상 정확한 것은 아닙니다. 그리고 긴 컨텍스트(context) 처리에는 어려움을 겪습니다. 새로운 컨텍스트가 더 나은 결과를 제공합니다.
https://huggingface.co/spaces/wayneworkman2012/peacebell-v1-291M-demo-cpu
리더보드는 여기입니다:
https://huggingface.co/spaces/wayneworkman2012/ww2bench-leaderboard
저는 Peacebell을 CodeSoft의 SLM 아레나와 같은 다양한 SLM Arena에 제출했습니다. 여기를 참고하세요:
https://huggingface.co/spaces/CodeSoft/SLM-Arena
기본적으로 LocalLLaMA에 있는 모든 분들은 GPU 없이도 이 모델을 쉽게 실행할 수 있을 것입니다. Peacebell 모델 중 어느 것을든 실행할 수 있는 맞춤형 vLLM 포크(fork)가 여기 있습니다:
https://github.com/wayneworkman/vllm
다음 버전은 2027년경에 출시될 예정입니다.
제출자: /u/wayneworkman [링크] [댓글]