r/LocalLLaMA 여러분, 다시 만나서 반갑습니다! Supra-50M-Reasoning (ThinkSupra-50M)은 Supra-50M-Instruct의 추론 (Reasoning) 버전입니다. 이 모델은 모든 답변 전에 전체 사고 체인 (Thinking chain)을 생성하며, Qwen3 1.7B가 생성한 500개의 샘플로 구성된 맞춤형 합성 데이터셋 (Synthetic dataset)을 사용하여 Supra-50M-Base로부터 6 에포크 (Epochs) 동안 미세 조정 (Fine-tuned)되었습니다. 이 모델은 실험적이며, 환각 (Hallucinate) 현상이 발생할 수 있고, 완전히 공개되어 있습니다. 이는 Project Chimera 산하의 Supra-50M 컬렉션의 일부입니다.

모델: 🤗 Supra-50M-Reasoning
데이터셋: SupraThink-Dataset-500x

다음 계획은 무엇인가요?
Supra-124M — Base, Chat, Reasoning
Supra-350M — Base, Chat, Reasoning, Coding

🧠 답변 구조
모든 답변은 다음 형식을 따릅니다:
<|begin_of_thought|> ... 사고 과정 (thinking) ... <|end_of_thought|>
<|begin_of_solution|> ... 최종 답변 (final answer) ... <|end_of_solution|>

⚙️ 학습 설정

🚀 추론 (Inference)

import os, warnings
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "3"
warnings.filterwarnings("ignore", category=UserWarning, module="transformers")
import torch
from transformers import pipeline, AutoTokenizer, logging
logging.set_verbosity_error()
MODEL_ID = "SupraLabs/Supra-50M-Reasoning"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, clean_up_tokenization_spaces=False)
pipe = pipeline(
    "text-generation",
    model=MODEL_ID,
    tokenizer=tokenizer,
    device_map="auto",
    torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32
)

def build_prompt(instruction, input_text=""):
    if input_text.strip():
        return (
            "Below is an instruction that describes a task, paired with an input "
            "that provides further context. Write a response that appropriately "
            "completes the request.\n\n"
            f"### Instruction:\n{instruction}\n\n"
            f"### Input:\n{input_text}\n\n### Response:\n"
        )
    return (
        "Below is an instruction that describes a task."
    )

응답을 작성하여 요청을 '적절하게 완성합니다.'

"f### Instruction:
{instruction}

Response:

" ) def generate(instruction, input_text=""): result = pipe( build_prompt(instruction, input_text), max_new_tokens=512, do_sample=True, temperature=0.3, top_k=50, top_p=0.9, repetition_penalty=1.15, pad_token_id=pipe.tokenizer.pad_token_id, eos_token_id=pipe.tokenizer.eos_token_id, return_full_text=False ) return result[0]['generated_text'].strip() while True: print("\nEnter an instruction (or 'exit' to quit):") user_input = input().strip() if user_input.lower() == "exit": break print("\nEnter additional context (optional, press Enter to skip):") context_input = input().strip() print(f"\nResponse:\n{generate(user_input, context_input)}\n") 💬 샘플 출력 프롬프트: "AI란 무엇인가?" 🧠 사고방식 사용자에게 AI에 대해 질문하고 있다. 내가 AI가 무엇인지 상기하는 것부터 시작해야겠다. AI는 머신러닝의 하위 집합이며, 특히 신경망이다. 이는 기계가 데이터로부터 학습할 수 있도록 하는 데 초점을 맞춘 컴퓨터 과학의 한 분야이다. 주요 목표는 정상적으로 인간의 지능을 필요로 하는 작업을 수행할 수 있는 지능형 기계를 만드는 것이다. 내가 명확하게 전달해야 한다. AI는 매우 광범위한 분야이며 다양한 응용 사례를 가지고 있다. 예를 들어, Siri나 Alexa와 같은 AI 기반 가상 비서가 있다. 또한, AI는 헬스케어, 금융, 심지어 로봇 공학 분야에서도 사용된다. 데이터, 알고리즘 및 잠재적 응용과 같은 핵심 개념을 언급해야 한다. 편향이나 인간 개입 부족과 같은 잠재적인 과제도 언급해야 한다. 간결하게, 150단어 이내로 작성하자. ✅ 응답 AI는 기계가 데이터로부터 학습할 수 있도록 하는 데 초점을 맞춘 머신러닝의 하위 집합이다. 이는 기계가 패턴을 인식하고 데이터를 기반으로 결정을 내리도록 훈련하는 것을 포함한다. AI는 헬스케어, 금융 및 로봇 공학 분야에서도 사용된다. 그 응용 사례에는 Siri나 Alexa와 같은 가상 비서가 있으며, 자동화 및 훈련의 잠재력을 가지고 있다.

프롬프트(Prompt): "삶의 의미는 무엇인가요?" 🧠 생각 중: 좋아요, 사용자가 삶의 의미에 대해 묻고 있습니다. 먼저 삶이 무엇인지 회상하는 것부터 시작해 보겠습니다. 그것은 우리가 내리는 선택, 타인과 맺는 관계와 같이 인간의 경험에 관한 것입니다. 주요 지점들을 반드시 다뤄야 합니다: 인간의 경험, 인간의 정신, 우리 감정의 역할, 그리고 우리가 겪는 경험들. 150단어 이내로 간결하게 작성하세요. ✅ 응답: 삶은 인간의 경험, 인간의 정신, 그리고 우리가 겪는 경험에 관한 것입니다. 인간의 정신은 우리가 겪는 경험에 의해 형성되는 감정, 사고, 경험의 복잡한 상호작용입니다. 최종 답변: 삶은 인간의 경험, 인간의 정신, 그리고 우리가 겪는 경험에 관한 것입니다. ⚠️ 모델은 여전히 환각 (Hallucination) 현상을 보이며 답변이 때때로 부정확할 수 있습니다 ⚠️ SupraLabs의 첫 번째 추론 (Reasoning) 모델입니다. 실험적이고 혼란스럽지만, 사고 사슬 (Thinking chains)은 실제입니다. 피드백을 환영합니다! /u/Dangerous_Try3619가 r/LocalLLaMA에 게시함 [link] [comments]