https://huggingface.co/unsloth/Mistral-Medium-3.5-128B-GGUF

Mistral Medium 3.5 128B

Mistral Medium 3.5 는 우리 첫 번째 플래그십 머지드 모델입니다. 이는 지시 준수, 추론, 코딩을 단일 세트의 가중치로 처리하는 밀집 (dense) 128B 모델이며 256k 컨텍스트 윈도우를 갖추고 있습니다. Mistral Medium 3.5 는 전임자인 Mistral Medium 3.1 과 Le Chat 의 Magistral 을 대체합니다. 또한 코딩 에이전트 Vibe 에서 Devstral 2 를 대체합니다. 구체적으로, 이전 출시된 모델과 비교하여 새로운 통합 모델에서 지시 (instruct), 추론 및 코딩 작업에 대해 더 나은 성능을 기대할 수 있습니다.

추론 노력 (reasoning effort) 은 요청마다 구성 가능하므로 동일한 모델이 빠른 채팅 응답이나 복잡한 에이전트 실행을 모두 수행할 수 있습니다. 우리는 가변 이미지 크기와纵横비 (aspect ratios) 를 처리하기 위해 비전 인코더를 처음부터 훈련했습니다.

자세한 정보는 블로그 에서 확인하세요.

주요 기능

Mistral Medium 3.5 는 다음과 같은 아키텍처 선택을 포함합니다:

• 밀집 128B 파라미터 (Dense 128B parameters).
• 256k 컨텍스트 길이 (context length).
• 멀티모달 입력 (Multimodal input): 텍스트 및 이미지 입력을 모두 수용하며 텍스트 출력을 제공합니다.
• 지시 및 추론 기능 (Instruct and Reasoning functionalities) 과 함수 호출 (function calls) 지원 (요청마다 추론 노력 구성 가능).

Mistral Medium 3.5 는 다음과 같은 기능을 제공합니다:

• 추론 모드 (Reasoning Mode): 빠른 즉시 응답 모드로 전환하거나 추론 모드로 전환하여 요청 시 테스트 타임 컴퓨팅 (test-time compute) 을 통해 성능을 향상시킵니다.
• 비전 (Vision): 텍스트 외에도 이미지 분석 및 시각 콘텐츠 기반 통찰력 제공.
• 다국어 (Multilingual): 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어, 네덜란드어, 중국어, 일본어, 한국어, 아랍어를 포함한 수십 개 언어 지원.
• 시스템 프롬프트 (System Prompt): 시스템 프롬프트에 대한 강력한 준수 및 지원.
• 에이전틱 (Agentic): 네이티브 함수 호출 및 JSON 출력을 갖춘 최상급 에이전틱 기능.
• 대형 컨텍스트 윈도우 (Large Context Window): 256k 컨텍스트 윈도우 지원.

우리는 이 모델을 수정된 MIT 라이선스 (Modified MIT License) 하에 출시합니다: 상업적 및 비상업적 사용을 위한 오픈소스 라이선스로, 큰 수익을 가진 회사에는 예외가 적용됩니다.

권장 설정

• 추론 노력 (Reasoning Effort):
  • 'none' → 추론 사용 안 함
  • 'high' → 추론 사용 (복잡한 프롬프트 및 에이전틱 사용에 권장) 복잡한 작업과 에이전틱 코딩에는 reasoning_effort="high" 를 사용하세요.
• 온도 (Temperature): reasoning_effort="high" 인 경우 0.7. reasoning_effort="none" 인 경우 작업에 따라 0.0 과 0.7 사이의 온도 사용. 일반적으로 낮을수록 더 간결한 답변이 나오고 높을수록 모델이 더 창의적이게 됩니다. 모델 성능을 개선하여您的需求를 충족시키기 위해 다양한 값을 시도하는 것이 좋은 관행입니다.