이번 디왈리(Diwali)를 맞이하여, 인도 AI 연구 커뮤니티의 빛을 글로벌 AI 지형에 조금 더 비춥니다.
@169Pi_ai Research에서 개발한 9B 멀티모달 추론 모델인 Alpie Seed의 최신 벤치마크 결과를 소개합니다.
우리는 차세대 AI가 단순히 규모만 커지는 모델이 아니라, 작은 모델들을 점점 더 유능하게 만드는 연구와 엔지니어링에 의해 형성될 것이라고 믿습니다.
저희는 Alpie Seed를 추론(reasoning), 과학 지식(scientific knowledge), 수학(mathematics), 코딩(coding), 소프트웨어 엔지니어링(software engineering) 전반에 걸쳐 다양한 까다로운 평가에 투입했습니다.
다음은 일부 결과입니다:
→ MMLU-Pro에서 82.54%
→ GPQA Diamond에서 84.32%
→ LiveCodeBench v6에서 72.99%
→ SWE-Bench Verified에서 61.20%
이 비교는 몇 가지 흥미로운 결과를 보여줍니다.
Alpie Seed는 제시된 모델 중 가장 높은 GPQA Diamond 점수를 기록했습니다. MMLU-Pro에서는 대규모 모델들과 경쟁할 만한 성능을 보였으며, LiveCodeBench 결과 역시 훨씬 더 큰 시스템에 근접한 수준입니다.
61.20%의 SWE-Bench Verified 결과는 또 다른 중요한 이정표로, 실제 소프트웨어 엔지니어링 작업을 처리하는 능력을 반영합니다. 이 평가는 재시도(retries) 없이 mini-SWE-agent를 사용했습니다.
벤치마크 정확도를 넘어, 저희는 추론 효율성 또한 검토했습니다.
별도의 프로파일링 평가에서 Alpie Seed는 다음을 기록했습니다:
→ 첫 토큰까지의 시간(time to first token): 36.66 ms
→ 생성 속도(generation speed): 41.37 tokens/s
→ 프롬프트 처리 속도(prompt processing speed): 9,796.22 tokens/s
이 측정값들은 별도의 프로파일링 환경에서 나온 것이므로 비교 벤치마크 결과와 혼동해서는 안 됩니다.
저희에게 이 작업이 의미 있는 이유는 그 과정에 있습니다: 지도 미세 조정(supervised fine-tuning)과 강화 학습(reinforcement learning)을 통해 간결한 모델을 개발하고, 다양한 과제에 걸쳐 평가하며, 그 결과를 더 넓은 커뮤니티가 접근할 수 있도록 가중치(weights)를 공개하는 것입니다.
이 비교에는 다른 모델 개발사들이 발표한 결과가 포함되어 있습니다. 이러한 평가는 공통의 벤치마크 환경(common harness)에서 재실행된 것이 아니므로, 수치를 해석할 때 방법론 및 구성 설정의 차이점을 고려해야 합니다.
인도에서 제작되었으며, 글로벌 연구 및 개발자 커뮤니티를 위해 개발되었습니다.
이것이 Alpie Seed입니다. 그리고 이는 169Pi Research가 걸어온 훨씬 더 큰 여정 중 한 단계에 불과합니다.
모델 살펴보기:
Hugging Face: https://t.co/Jpujzrnnoy
GGUF: https://t.co/tD332KqcCo
Ollama: https://t.co/7GqHxQQsvF
Kaggle: https://t.co/9ZHdYgSjBB
169Pi의 모든 팀원들이 디왈리(Diwali)를 축하합니다.
