안녕하세요 r/LocalLLaMA 여러분! Supra-Title-350M-exp (저희의 첫 번째 채팅 타이틀 생성 모델)에 이어, 훨씬 더 크고 깨끗한 데이터셋으로 학습된 supra-title-FFT-preview를 출시합니다.
🤗 supra-title-FFT-preview

변경 사항
저희의 첫 번째 채팅 타이틀 모델은 12K 샘플 (chat-titles-12K)로 학습되었으며 다음과 같은 특징을 보였습니다: 일반적인 대화 패턴에는 준수하지만, 니치(niche)한 주제에는 취약함. 이번 릴리스는 새로운 필터링된 데이터셋인 chat-titles-filtered-115K에서 추출한 115K 샘플로 학습되었습니다.

모델 데이터셋 크기

Supra-Title-350M-exp: 12K 샘플
supra-title-FFT-preview: 115K 샘플

동일한 베이스(Base), 동일한 태스크(Task)이지만, 훨씬 더 넓은 커버리지를 가집니다. 저희의 명명 규칙(naming convention)에 따라, 이것은 최종 비-프리뷰(non-preview) 릴리스 전의 마지막 체크포인트입니다.

사양 (Specs)

여전히 시스템 프롬프트 (system prompt)는 필요하지 않습니다. 사용자 메시지를 보내면, 타이틀을 돌려받습니다.

빠른 시작
Transformers 파이프라인:
from transformers import pipeline
pipe = pipeline("text-generation", model="SupraLabs/supra-title-FFT-preview")
messages = [{"role": "user", "content": "bruh my wifi keeps disconnecting every 10 minutes"}]
print(pipe(messages))
또는 직접 로드:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
MODEL_ID = "SupraLabs/supra-title-FFT-preview"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "what's the easiest way to make fluffy pancakes?"}]
inputs = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
vLLM (OpenAI 호환 서버):
vllm serve "SupraLabs/supra-title-FFT-preview"
curl -X POST "http://localhost:8000/v1/chat/completions"
--data '{ "model": "SupraLabs/supra-title-FFT-preview", "messages": [{"role": "user", "content": "What is the capital of France?"}] }'
Apache 2.0. 이것은 프리뷰 체크포인트(preview checkpoint)입니다. 최종 버전을 확정하기 전에 엣지 케이스나 특이한 타이틀에 대한 피드백을 주시면 정말 유용할 것입니다.

제출자: /u/Dangerous_Try3619
[링크] [댓글]