안녕하세요, r/LocalLLaMA 여러분!
SupraLabs가 다음과 같은 모델을 방금 출시했습니다: SupraLabs/reasoning-summarizer-800m-pre-gguf
이것은 사고 흔적 요약기(thought trace summarizer)입니다. 기본적으로 사용자/개발자가 추론(reasoning) + 도구 호출(tool calls, 원하는 경우)을 보내면, 모델은 다음과 같은 형태의 JSON을 생성합니다:
{
"title": "...",
"sub_title": "...",
"summary": "...",
"cur_task": "..."
}
다음은 몇 가지 샘플입니다:
https://preview.redd.it/0pqhoqt5khbh1.png?width=1512&format=png&auto=webp&s=0c0a022ec910bc14e6a335ae23581bf2e4c606de
https://preview.redd.it/jouw1fkgkhbh1.png?width=2558&format=png&auto=webp&s=e3087cf2ed2116a4e35790c8f4d17c39d154306c
개발자들은 모델이 생성한 가공되지 않은 사고 흔적(raw thought trace)을 그대로 보여주는 대신, 이 설정을 통해 사용자에게 사고 흔적을 보여줄 수 있는 창의적인 방법들을 구현할 수 있습니다.
개인적으로 저는 이 용도로 qwen3.5+ 모델들을 좋아하는데, 왜냐하면 이 모델들은 구조화된 추론 체인(reasoning chains)을 생성하여 사고 흔적을 만들 수 있고, 이는 공식 qwen 채팅 웹 앱이 사고 흔적을 보여주는 방식과 유사하게 보이기 때문입니다!
리포지토리 링크: https://huggingface.co/SupraLabs/reasoning-summarizer-800m-pre-gguf
이 모델과 함께, 저희는 오픈 소스 데이터셋도 출시했습니다:
https://huggingface.co/datasets/SupraLabs/reasoning-summaries-61k
참고: 현재 모델은 모든 유형의 사고 흔적을 요약하는 데 있어 "괜찮은(okay)" 수준이지만, 저희는 에이전트 기반 코딩(agentic coding)에 특화된 모델을 제작하고 있습니다.
또한, 모델이 요약을 시작할 때(처음 몇 단어) 어휘(vocabulary)가 다소 제한적이라는 점을 확인했습니다. 이 부분은 에이전트 기반 코딩 사고 흔적을 통해 수정될 예정입니다!
즐겁게 사용해 보시고, 여러분의 경험을 저희에게 알려주세요! 🤗😝
submitted by /u/Time-Toe-1276
[link] [comments]