안녕하세요 r/LocalLLaMA 커뮤니티 여러분,

제가 작업해 온 특정 도메인에 특화된 모델을 공유하고, 유사한 영역별 작업을 수행하신 분들께 기술적인 피드백을 받고 싶어 글을 올립니다.

문제점은 이렇습니다. 일반 채팅 모델들도 마케팅 카피를 작성할 수는 있지만, '오늘날 빠르게 변화하는 세상에서…'와 같은 상투적인 도입부나 구체적인 내용 대신 모호한 장점 설명(vague benefit-speak)에 머무르는 경향이 있습니다. Claude는 이 부분에서는 훌륭하지만, 저도 나름대로 무언가를 해보고 싶었습니다. 그래서 Gemma-4-31B를 특화하여 미세 조정했습니다. 이 모델은 그러한 상투적인 표현을 제거하고, 직접 반응형 카피라이터(direct-response copywriter)처럼 작성하도록 만들었습니다. 즉, 문제점(pain)으로 시작하고, 구체적이며, 간결한 CTA(Call to Action)를 제시하는 방식입니다. 전반적으로 모델이 감성 지능(emotional intelligence)을 더 많이 얻은 것 같습니다.

평가 설정: EQ-Bench 3 방법론(쌍별 Elo 점수 + 루브릭)을 기반으로 카피라이팅에 특화된 벤치마크를 구축했습니다. 페이스북 광고, 콜드 이메일, 랜딩 페이지, 제품 설명, SMS, 스크립트 등 실제 시나리오의 브리프 30개를 사용했습니다. 기본 모델과 미세 조정된 모델 모두 모든 브리프에 답변했으며, 위치 편향(position bias)을 통제하기 위해 DeepSeek V4 Flash가 두 순서(A-vs-B 및 B-vs-A)로 블라인드하게 평가했습니다. 베이스 가중치와 디코딩 설정은 동일하며, 미세 조정된 모델만이 변수입니다.

결과:

Model	Elo Score	Head-to-head
Fine-tuned	1657	wins 24/30 (80%)
Gemma-4-31B-it (base)	1367	—

가장 크고 일관성 있게 개선된 부분은 후크(hook)의 강도, 구체성, 간결함이었으며, 이는 직접 반응형 카피라이팅이 요구하는 정확한 영역입니다.

학습 세부 정보: 실제 광고 예시를 포함하여 마케팅 브리프와 완성본을 쌍으로 엮은 선별된 코퍼스(curated corpus)에 대한 QLoRA SFT를 수행했습니다. 최종 가중치는 전체 bf16으로 병합되었으며 (어댑터 형태로 배포하지 않습니다). 컨텍스트는 256K이며, vLLM 또는 Transformers에서 그대로 사용할 수 있습니다.

최상의 결과를 얻으려면 enable_thinking=false로 설정해야 합니다. Gemma 4의 추론 모드(reasoning mode)를 활성화하는 것이 오히려 여기서는 출력 품질을 저하시키므로 이 점을 염두에 두시기 바랍니다.

모델 카드 + 가중치: https://huggingface.co/akwin123/copywriter-gemma4-31b
양자화(Quantizations):
https://huggingface.co/models?other=base_model:quantized:akwin123/copywriter-gemma4-31b

어떻게 작동하는지 알려주시면 감사하겠습니다. 감사합니다!

제출자: /u/NinjaAlaska
[링크] [댓글]