Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DeepSeek은 최신 모델인 V4.1 Flash 1017을 공개하며 ARC-AGI 벤치마크에서 높은 성능을 기록했습니다. 특히, 이전 버전에 비해 ARC-AGI-2 점수가 크게 상승했으며, 추론 능력과 작업별 성능 향상도 두드러집니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 오픈소스 LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기DeepSeek V4.1 Flash 1017 (@deepseek_ai 제공, ARC-AGI 검증):
DeepSeek의 Flash 모델에 대한 최고의 ARC-AGI-2 점수는 61.4% (V4 Flash 0731)에서 72.9% (V4.1 Flash)를 거쳐 78.1% (V4.1 Flash 1017)로 상승했습니다.
ARC-AGI-2 반(semi-private) 테스트에서는 'high'가 12개 작업에서 'low'보다 낮은 성능을 보였고, 8개 작업에서는 더 높은 성능을 보였으며, 100개 작업에서는 동률을 기록하며 부분 점수를 고려했을 때 최종적으로 5.0 퍼센트 포인트 낮게 마감했습니다. 최대치(max)와 비교했을 때는 'high'가 18개 작업에서 낮은 성능을 보이고, 5개 작업에서 더 높은 성능을 보였으며, 97개 작업에서 동률을 기록하며 최종적으로 9.4 퍼센트 포인트 낮게 마감했습니다.
DeepSeek V4.1 Flash 1017은 공개 작업(public tasks)에서 'low'에서 'max'로 가면서 완만한 성능 향상을 보였습니다: ARC-AGI-1은 97.2%에서 98.4%로 상승했으며, 추론 능력(reasoning)은 26k 토큰에서 34k 토큰/작업으로 증가했습니다. ARC-AGI-2에서는 그 향상이 더 컸습니다: 75.6%에서 79.2%로 상승했으며, 추론 능력은 108k에서 134k 토큰/작업으로 증가했습니다.