Darwin-180B-RSI가 AIhoster의 독립 오픈 모델 벤치마크 보드에서 MMLU-Pro와 GPQA Diamond에서 최고 기록을 세우다
요약: VIDRAFT의 Darwin-180B-RSI는 1,800억 개의 파라미터를 가진 오픈 모델로, 러시아 벤치마크 집계 사이트 AIhoster가 추적하는 MMLU-Pro와 GPQA Diamond 리더보드 모두에서 1위를 차지했습니다. 각각 88.1%와 94.4%의 점수를 기록했으며, 이는 파라미터 수가 한 자릿수 더 큰 모델들을 능가한 수치입니다. 오픈 가중치 형태로 최첨단 추론(reasoning) 역량에 관심 있는 개발자들은 주목할 필요가 있습니다.
무엇인가요 (What it is)
Darwin-180B-RSI는 한국의 Pre-AGI AI 스타트업인 VIDRAFT에서 개발한 1,800억 개의 파라미터를 가진 오픈 가중치(open-weight) 언어 모델입니다. 이 모델은 Hugging Face 저장소 식별자 FINAL-Bench/Darwin-180B-RSI 아래에 공개되었습니다.
AIhoster는 독립적인 러시아 벤치마크 집계 사이트로, 모델 카드, 논문 및 리더보드에서 공개적으로 보고된 평가 결과를 수집합니다. 이 과정에서 점수를 재계산하거나 복합 지수로 정규화하지 않습니다. 각 벤치마크 항목은 정확한 저장소 ID와 특정 평가 구성에 연결되어 있어 비교가 방법론적으로 투명합니다.
2026-10-19일 AIhoster 업데이트 기준으로, Darwin-180B-RSI는 다음 기록을 보유하고 있습니다:
- MMLU-Pro 1위: 총 12,032개 테스트 항목 평가
- GPQA Diamond 1위: 총 198개 항목 평가
특히 주목할 점은 VIDRAFT가 여러 Darwin 계열 모델을 GPQA Diamond 순위에 동시에 등장시킨 것입니다. Darwin-397B-ZTC(#3, 93.4%)와 Darwin-398B-JGOS(#9, 90.9%) 등이 그 예이며, 이는 다양한 모델 규모와 추론 구성에 걸쳐 활발하고 반복적인 개발 파이프라인을 시사합니다.
작동 방식 (How it works)
개념적으로 볼 때, Darwin-180B-RSI는 확장된 추론(extended reasoning)에 최적화된 대규모 트랜스포머 기반 언어 모델로 보입니다. 공개적으로 공개된 평가 구성에서 몇 가지 사실을 유추할 수 있습니다:
- 확장된 사고 예산(Extended thinking budget): MMLU-Pro와 GPQA 평가는 모두 최대 131,072 토큰의 사고 예산을 사용했습니다. 이는 최종 답변을 생성하기 전에 중간 추론 단계를 위해 상당한 토큰 예산을 할당하는 사슬형 사고(chain-of-thought) 또는 '추론 모델(reasoning model)' 아키텍처와 일치합니다.
- 샘플링 전략은 벤치마크별로 다름: MMLU-Pro의 경우 단일 샘플이 추출되었습니다 (temperature=1.0, top_p=0.95, top_k=20). GPQA Diamond의 경우 동일한 샘플링 매개변수 하에서 최대 16개의 샘플에 대한 다수결 투표가 사용되었는데, 이는 어려운 문제에 대해 추론 비용을 정확도로 교환하는 테스트 시간 컴퓨트 스케일링 전략입니다.
- 정밀도(Precision): 모델은 bf16으로 실행되며, 이는 최신 가속기에서 대규모 추론의 표준 방식입니다.
- 매개변수 수 대비 효율성: 180B 매개변수로 두 벤치마크 모두에서 1위를 차지한 것은, MMLU-Pro에서 DeepSeek-V4-Pro(1.6T 매개변수) 및 Kimi-K2.5(1T 매개변수)와 같은 모델을 능가하는 것을 감안할 때, 단순히 원시적인 규모보다는 아키텍처 선택이나 훈련 데이터 큐레이션에서 비롯된 강력한 매개변수 효율성을 시사합니다.
소스 자료에는 아키텍처 세부 정보, 훈련 하이퍼파라미터 또는 데이터셋 세부 사항은 공개적으로 밝혀지지 않았습니다.
벤치마크 및 결과
아래의 모든 수치는 AIhoster의 리더보드(2026-10-19 업데이트)에서 직접 가져온 것이며, 이 리더보드는 다시 Darwin-180B-RSI 모델 카드에 인용되었습니다.
MMLU-Pro (다중 도메인 전문 지식; 정확도가 높을수록 좋음):
| 순위 | 모델 | 점수 | 매개변수 수 |
|---|
| 1 | Darwin-180B-RSI | 88.1% | 180B |
| ... | | | |
| GPQA Diamond (전문 수준의 물리학, 화학, 생물학; 정확도가 높을수록 좋음): | | | |
| 순위 | 모델 | 점수 | 파라미터 |
|---|
| 1 | Darwin-180B-RSI | 94.4% | 180B |
| ... | | | |
| GPQA 결과는 특히 주목할 만합니다. Darwin-180B-RSI는 최대 16개 샘플에 대한 다수 투표(majority voting)를 사용하여 94.4%를 달성한 반면, 3위에 위치한 모델인 Darwin-397B-ZTC (역시 VIDRAFT 모델)는 그리디 디코딩(greedy decoding)과 투표 없이 93.4%를 달성했습니다. 이는 완전히 다른 추론 방식입니다. | | | |
사용 방법
이 모델은 Hugging Face 조직 FINAL-Bench의 저장소 FINAL-Bench/Darwin-180B-RSI에서 확인할 수 있습니다. 만약 가중치(weights)가 공개적으로 제공된다면, 표준 Hugging Face CLI를 통해 브라우징하거나 다운로드할 수 있습니다:
huggingface-cli download FINAL-Bench/Darwin-180B-RSI
모델 카드에 명시된 내용을 넘어서는 접근 세부 정보—API 엔드포인트, 라이선스 조건 또는 추론 서비스 이용 가능 여부 등—는 원본 자료에서 확인되지 않았습니다. 가장 최신 접근 지침은 모델 카드를 직접 확인하십시오.
FAQ
Q: Darwin-180B-RSI가 MMLU-Pro에서 파라미터가 10배 더 많은 모델들을 어떻게 능가할 수 있나요?
A: 원본 자료에는 내부 아키텍처에 대한 설명은 없지만, 평가 설정이 단서를 제공합니다. 이 모델은 131,072 토큰의 사고(thinking) 예산을 사용하며, 이는 확장된 사고 사슬(chain-of-thought) 추론을 시사합니다. 파라미터 효율성은 잘 최적화된 Mixture-of-Experts 또는 증류 기반 아키텍처의 알려진 이점이지만, VIDRAFT가 여기서 어떤 접근 방식을 사용했는지 공개적으로 확인한 바는 없습니다.
Q: GPQA와 MMLU-Pro 점수는 독립적으로 검증되었나요?
A: AIhoster는 점수를 재계산하지 않는다고 명시합니다. 대신, 정확한 저장소 ID로 일치하는 공개 모델 카드 및 리더보드 출처에서 취합합니다. Darwin-180B-RSI의 점수 출처는 자체 모델 카드로 명시되어 있습니다. 독립적인 제3자 재현(reproduction)은 이 보고서에서 확인되지 않았습니다.
Q: Darwin-180B-RSI를 상업적으로 사용할 수 있나요?
A: 라이선스 조건은 원문 기사에 명시되어 있지 않습니다. 프로덕션 또는 상업적 사용 전에 Hugging Face의 FINAL-Bench/Darwin-180B-RSI에 있는 모델 카드에서 적용 가능한 라이선스를 확인하십시오.
AIhoster (러시아)가 원래 보도함 (2026-10-18) — 출처 기사.