이전에 출시되었던 Qwen3.8-27B-Humanlike-Chat 2.0은 사람이 말하는 것처럼 글을 쓰고 다양한 작업을 수행하는 파인튜닝(fine-tune) 모델로, v1부터 2.0까지의 GGUF 저장소에서 현재 136k 다운로드를 기록했습니다. 감사합니다.
2.0 포스트에 달린 상위 댓글 중 하나가 "당신의 방법으로 학습된 Gemma 4 31B는 어떨지 궁금하다"였습니다. 그래서 여기 있습니다: Gemma-4-31B-Humanlike-Chat. Google의 공식 Gemma 4 31B를 기반으로 한 2.0 버전의 음성입니다.
무엇을 할까요?
- 프롬프트 없이 사람이 말하는 것처럼 글을 씁니다. 짧고 소문자로 된 줄로 작성합니다.
- 사용자가 하는 말에 응답합니다.
- 맹목적인 심사위원에게 실제 채팅과 가능한 다음 메시지 두 가지를 보여줍니다. 심사위원이 어느 쪽이 실제 사람의 것인지 고릅니다. 이 모델의 답변을 실제 사람의 것으로 판단한 비율은 26%였습니다. Google Gemma 4 31B는 제 테스트에서 0%였습니다.
- 추측하지 않고 질문합니다. 무언가를 예약해 달라고 요청해도, 세부 정보 없이요. 세부 정보를 요구하며, 임의로 만들어내지 않습니다.
성능 지표:
- When2Call (콜, 질문 또는 적절히 거절): Google 66, 기본(base) 모델 46점.
- 적합하지 않은 경우 도구를 호출하지 않음: BFCL irrelevance 90점, Google 81점.
- 적합한 도구 및 인자: BFCL simple 96점. Google과 동일한 지식을 가집니다.
- MMLU-Pro: 82.5점. Google 기본 모델과 동일합니다.
배경에는 공식 Gemma가 있습니다. google/gemma-4-31B-it에서 학습되었으며, Apache-2.0 라이선스를 따릅니다. 무력화되지 않았습니다. Gemma-4-31B는 그것이 필요하지 않다고 생각하지 마세요. 사고하는 것이 가능합니다. 잠시 생각한 후, 같은 음성으로 다시 글을 씁니다.
캐릭터 및 실제 작업: 캐릭터 카드를 주면, 이제 이 캐릭터가 됩니다. 공식적인 이메일이나 번호가 매겨진 단계, 또는 코드를 요청해도 그것을 제공합니다. 그리고 다시 글을 씁니다.
학습 방법:
두 단계를 거쳤습니다. 2.0과 동일한 레시피입니다. H200 하나에서 진행되었습니다.
- SFT(Supervised Fine-Tuning): 학습 채팅의 2.0 답변, Google이 제공한 지침 및 코드에 대한 원래 답변, 그리고 맹목적인 비교를 통한 인간 선호도 선택을 사용했습니다.
- 제 수정 사항: On-policy distillation (온정책 증류)을 12단계에 걸쳐 수행했습니다. 모델 스스로 응답을 작성합니다. 두 명의 교사가 각 토큰을 평가합니다. SFT 모델 + 사람이 말하는 것처럼 글을 쓰기 위한 숨겨진 지침(채팅, 캐릭터): 원래 Google 기본 모델은 지침, 도구, 코드를 다루었습니다. 학생 모델은 이 숨겨진 지침을 볼 수 없습니다. 따라서 프롬프트 없이도 그렇게 글을 씁니다. 각 단계마다 일부 자가 학습(self-play)이 이루어졌습니다.
시뮬레이션 친구와의 긴 대화 기능이 추가되었습니다. 이 기능은 장시간 대화 후 말의 길이가 짧아지는 습관(SFT 이후, 긴 대화에서 늦게 나온 답변 중 28%가 단 1~2단어였음; 증류(distillation) 후에는 12%)을 개선했습니다.
Google 기준(gemma-4-31B-it, 제가 학습한 모델) 대비 수치 비교: 동일 프롬프트, 동일 실행, 그리디 디코딩(greedy decoding), 생각 과정(thinking off)
벤치마크 | Google Gemma 4 31B Humanlike | When2Call (정확하게 호출, 질문 또는 거절) | 46 | 66
| BFCL irrelevance (적합한 도구가 없을 때 도구를 호출하지 않음) | 81 | 90
| BFCL simple (올바른 도구, 올바른 인자) | 95 | 96
| MMLU-Pro (지식) | 82.5 | 82.5 (동일)
이미지에 모든 10개 벤치마크가 포함된 차트. 수치 vs 2.0: 동일 평가 입력. 생각 과정(Thinking off).
벤치마크 | Qwen 2.0 | Gemma Humanlike | LiveCodeBench (코드) | 51 | 66
| IFEval (지침 따르기/instruction following) | 83.4 | 90.0
| When2Call | 58 | 66
| BFCL irrelevance | 78 | 90
| IFBench (더 어려운 지침 따르기) | 43.7 | 45.7
인간처럼 메시지를 작성하는가? 지난번과 동일한 벤치마크. 제 대화에서 가져온 150개의 순간(학습에 사용되지 않음). 각 모델이 다음 메시지를 작성합니다. 심사위원은 실제 메시지와 모델의 메시지를 받습니다. 라벨 없음. 어느 것이 사람일까요?
모델 심사위원: 진짜 사람이었다고 생각한 것 - Gemma 4 31B (Google, 제가 학습한 모델) 0% / Gemma-4-31B-Humanlike-Chat 26% / Google Gemma는 심사위원을 속이는 데 단 한 번도 성공하지 못했습니다.
링크: Hugging Face. GGUF (IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16): https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GGUF vLLM 및 SGLang용 Safetensors: BF16 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat , FP8 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-FP8 , GPTQ-Int4 https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GPTQ-Int4 . 도구 호출(tool calling)을 사용하는 vLLM 명령어는 모델 카드에 있습니다. 브라우저에서 시도해 보세요 (IQ4_XS): https://huggingface.co/spaces/LessThanThreeAI/Humanlike-Chat
Gemma 버전을 요청해 주셔서 감사드리며, 2.0에 대한 피드백에도 감사드립니다. 사용해보시고 마음에 드셨으면 좋겠습니다!
submitted by /u/kvyb [링크] [댓글]
