300개 이상의 AI 모델. 60개의 GPU. 19개의 제공업체(Providers). 매일 업데이트되는 가격 정보. 검증된 벤치마크 점수. 제공업체 가용성은 24시간마다 조사됩니다.

이것이 바로 InferenceBench 리더보드가 추적하는 내용입니다. 문제는 데이터가 있느냐가 아니라, 당신이 그것을 올바르게 읽고 있느냐입니다.

품질 점수(Quality score)만으로는 통제된 조건에서 모델이 무엇을 할 수 있는지만 알려줍니다. 그것은 당신의 사용량(Volume)에서 비용이 얼마나 드는지, 당신의 워크로드(Workload)에서 얼마나 빠르게 실행되는지, 제공업체 중복성(Provider redundancy)이 있는지, 또는 당신의 작업 카테고리(Task category)에 적합한지는 알려주지 않습니다. 리더보드가 실제로 구축된 목적은 바로 그 질문에 답하는 것입니다. 단, 어떤 열(Column)을 어떤 순서로 살펴봐야 하는지 알고 있다면 말이죠.

이 가이드는 실제 리더보드 데이터를 통해 모든 열, 모든 필터, 그리고 모든 배지(Badge)를 살펴봅니다. 이를 통해 당신은 추측이 아닌 증거에 기반하여 모델 결정을 내릴 수 있게 될 것입니다.

빠른 답변

먼저 작업 카테고리(Chat, Code, Math, Reasoning, Vision 또는 Embedding)별로 InferenceBench 리더보드를 필터링한 다음, 품질 점수(Quality score)가 아닌 가치 점수(Value score)로 정렬하세요. 가치 점수(Value score)는 품질, 비용, 처리량(Throughput)을 하나의 숫자로 결합하여, 대부분의 워크로드에 대해 적절한 모델을 찾는 가장 빠른 경로를 제공합니다. 확정하기 전에 제공업체(Providers) 열을 확인하세요. 활성 제공업체가 3개 미만인 모델은 운영 리스크(Operational risk)를 수반합니다. 최종 후보를 선정하기 전에 실제 사용량에서의 경제성을 검증하려면 각 행의 ROI → 링크를 사용하세요.

품질 점수(Quality Score)가 적절한 시작 열이 아닌 이유

리더보드는 기본적으로 품질(Quality)이 아닌 복합 가치 점수(Value score)를 기준으로 정렬됩니다. 이는 의도된 것입니다.

품질 점수(Quality score)는 벤치마크 성능을 측정합니다. 일반적인 추론을 위한 MMLU, 코드 생성(Code generation)을 위한 HumanEval, 수학적 추론(Mathematical reasoning)을 위한 GSM8K 등이 있습니다. 이러한 벤치마크는 표준화된 작업에서 모델을 비교하는 데 유용합니다. 하지만 모델이 더 저렴한 대안보다 당신의 특정 워크로드를 더 잘 처리할지 예측하는 데는 유용하지 않습니다.

품질 점수가 87점인 모델은 입력 토큰 100만 개당 $2.50, 출력 토큰 100만 개당 $10.00의 비용이 듭니다. 품질 점수가 70점인 모델은 입력과 출력 모두 100만 토큰당 $0.20의 비용이 듭니다. 요약 (Summarisation), 분류 (Classification), 구조화된 추출 (Structured extraction)과 같이 실제 운영 환경의 AI 워크로드(Workloads) 대부분의 경우, 이 두 점수 사이의 출력 품질 차이는 최종 사용자에게 거의 느껴지지 않습니다.

올바른 질문에 답을 주는 열은 품질(Quality), 비용(Cost), 처리량(Throughput)을 결합한 **가치 (Value)**입니다. 품질이 아닌 가치부터 확인하십시오.

1단계 - 모델을 살펴보기 전에 작업 카테고리(Task Category)로 필터링하기

리더보드 탭은 첫 번째 의사결정 지점입니다. 'Overall' 탭의 최상위 모델이 모든 카테고리 탭에서 최상위 모델인 경우는 거의 없습니다.

단 하나의 모델 이름이나 가격을 읽기 전에, 귀하의 주요 워크로드와 일치하는 탭을 선택하십시오. 순위는 탭마다 크게 달라집니다. 코드 (Code) 분야를 선도하는 모델이 추론 (Reasoning) 분야의 상위 10위 안에 들지 않을 수도 있습니다.

💡 만약 귀하의 워크로드가 임베딩 (Embeddings)을 사용한다면, 임베딩 탭은 완전히 별개의 평가입니다. 임베딩 모델은 채팅 모델 (Chat models)과 아키텍처가 다르므로, 절대 같은 탭에서 평가하거나 가격을 직접 비교하지 마십시오.

2단계 - 올바른 순서로 모든 열 읽기

각 열이 알려주는 정보와 읽어야 할 순서는 다음과 같습니다:

Value (가치) - 이것을 가장 먼저 읽으십시오

품질 (Quality), 비용 (Cost), 처리량 (Throughput)을 결합한 종합 순위 점수입니다. 높을수록 좋습니다. 이것은 InferenceBench의 주요 정렬 지표이며, 강력한 후보를 식별하는 가장 빠른 방법입니다.

현재 리더보드의 상위 Value 점수:

Quality ✓ - 이것을 두 번째로 읽으십시오

InferenceBench에 의해 검증된 종합 벤치마크 점수입니다. ✓ 기호는 소스 URL과 날짜가 첨부되었음을 의미합니다. 대시(사용 불가)는 검증된 점수가 존재하지 않음을 의미하며, InferenceBench는 추정치를 제공하지 않습니다. 이는 추측하기보다는 공백이 있음을 보여줍니다.

점수 결합 요소:

• MMLU - 57개 주제에 걸친 일반 지식
• HumanEval - 코드 생성 정확도
• GSM8K - 수학적 추론

상위 12개 행의 현재 검증된 품질 점수: 70 (Qwen 2.5 7B), 70 (Qwen 3 8B), 58 (Qwen 2.5 3B), 57 (Qwen 3 4B), 55 (Llama 3.2 3B), 74 (Qwen 3 32B), 38 (Llama 3.2 1B), 63 (Llama 3 8B), 82 (HelpSteer2 Llama 3.1 70B).

Input $/M 및 Output $/M – 이 두 항목을 함께 읽으십시오

입력(Input)과 출력(Output) 각각에 대한 100만 토큰당 비용입니다. 출력 토큰은 거의 항상 입력 토큰보다 비싸며, 때로는 4배 이상 차이가 나기도 합니다.

~ 기호는 해당 수치가 제공업체의 가격 페이지에서 확인된 것이 아니라 모델링된 수치임을 의미합니다. 7일이 지난 가격은 노란색으로 표시됩니다. 30일이 지난 가격은 '사용 불가' 상태로 돌아갑니다.

⚠️ RAG 워크로드의 경우: 입력 토큰이 아니라 출력 토큰이 청구 금액의 대부분을 차지합니다. 입력 비용은 저렴하지만 출력 비용이 비싼 모델은 실제로는 입력 가격이 시사하는 것보다 훨씬 더 비쌀 수 있습니다. 항상 두 열을 함께 확인하십시오.

Speed (tok/s) - 생성이 시작된 후의 처리량 (Throughput)

모델이 응답을 시작한 후의 초당 토큰 수입니다. * 기호는 모델링된 추정치를 나타냅니다.

속도는 워크로드에 따라 중요도가 다릅니다:

• 배치 처리 (Batch processing): 높은 tok/s는 파이프라인 시간과 비용을 직접적으로 줄여줍니다.

• 실시간 채팅 (Real-time chat): 처리량 (throughput)보다 TTFT (time to first token, 첫 번째 토큰까지의 시간)가 더 중요합니다. 리더보드는 TTFT가 아닌 처리량을 보여줍니다.

• 임베딩 (Embedding): 속도는 거의 무관합니다. 임베딩 호출당 비용이 더 중요합니다.

Tokens/$ - 비용의 역수

지출된 1달러당 얼마나 많은 토큰을 받는지 나타냅니다. Llama 3.2 3B가 달러당 2,562.50 M 토큰을 제공하는 반면, 프런티어 모델 (frontier model)은 달러당 약 100M 토큰을 제공한다는 점을 보면 계산을 해보지 않아도 경제적 격차가 즉각적으로 눈에 보입니다.

컨텍스트 (Context) - 프롬프트 길이에 대한 상한선

최대 입력 컨텍스트 창 (context window)입니다. 128K는 현재 대부분의 모델에서 표준입니다. 32K는 더 제한적입니다. 워크로드에 긴 문서, 다회차 대화 (multi-turn conversations), 또는 대규모 코드 파일이 포함된다면 이 열을 확인하십시오.

Qwen 2.5 3B와 Qwen 2.5 1.5B는 모두 32K 컨텍스트를 가집니다. 워크로드에 긴 문서가 포함된다면 이는 의미 있는 제약 사항입니다. Qwen 2.5 7B, Qwen 3 8B, 그리고 Llama 3.x 제품군은 모두 128K를 지원합니다.

제공업체 (Providers) ✓ - 개발자들이 가장 많이 간과하는 열

현재 이 모델을 서비스하고 있는 활성 제공업체 (active providers)의 수로, 매일 라이브 프로브 (live probes)를 통해 검증됩니다. 제공업체는 지난 7일 이내에 라이브 요청을 통과한 경우에만 이 수치에 포함됩니다.

Qwen 2.5 3B는 1개의 활성 제공업체를 보유하고 있습니다. 이는 단 한 번의 속도 제한 (rate limit) 변경, 가격 업데이트, 장애, 또는 지원 종료 (deprecation) 공지만으로도 귀하의 서비스 전체가 영향을 받는다는 것을 의미합니다. 리더보드는 이러한 사실을 표면화하여, 이것이 운영 사고 (production incident)로 이어지기 전에 의사 결정에 반영할 수 있도록 합니다.

추론 (Reasoning) × - 실제 비용에 영향을 미치는 승수

확장된 사고 사슬 (chain-of-thought) 능력을 갖춘 모델들을 위한 추론 토큰 승수 (reasoning token multiplier)입니다.

12.7배의 추론 승수 (reasoning multiplier)를 가진 Qwen 3 8B 모델을 출력 토큰 100만 개당 $0.200에 사용할 경우, 추론 모드에서의 실질 비용은 100만 토큰당 $2.54가 됩니다. 이는 프런티어 모델 (frontier model)과 유사한 수준입니다. 기본 가격과 추론 모드에서의 가격은 동일한 숫자가 아닙니다.

이 모드를 활성화하기 전에 항상 제공업체별 추론 토큰 가격을 확인하십시오. 일부 제공업체는 기본 출력 요율에 추가 할증료를 부과합니다.

3단계 - 배지(Badges) 읽기

리더보드에는 네 가지 배지가 나타납니다. 각 배지는 열 분석 없이도 특정 질문에 대한 답을 제공합니다:

🏆 Most Popular (가장 인기 있는) - InferenceBench 사용자들이 가장 많이 선택한 모델입니다. 현재: Qwen 2.5 7B. 마케팅 비용이 아닌 실제 개발자 사용량을 반영합니다.

⭐ Best Value (최고 가성비) - 해당 카테고리에서 가장 높은 종합 가치 (Value) 점수를 기록한 모델입니다. 가격과 제공업체의 가용성이 매일 변함에 따라 수시로 변경됩니다.

👑 Best Quality (최고 품질) - 해당 카테고리에서 가장 높은 검증된 품질 (quality) 점수를 기록한 모델입니다. 복잡한 추론, 미묘한 분석, 프런티어 에이전트 워크플로우 (frontier agent workflows)와 같이 작업의 복잡도가 진정으로 최대 역량을 요구할 때 이 배지를 확인하십시오.

💰 Cheapest (최저가) - 해당 카테고리에서 100만 토큰당 비용이 가장 낮은 모델입니다. 현재: 약 $0.027~/M인 Qwen 2.5 1.5B입니다.

Pareto Q×C×S - 품질 (Quality), 비용 (Cost), 속도 (Speed) 측면에서 동시에 최적화된 모델에게 부여되는 특별 배지입니다. 즉, 세 가지 차원 모두에서 동시에 이 모델을 능가하는 다른 모델이 없음을 의미합니다. 현재 Llama 3.2 3B (품질 55, $0.060/M, 154 tok/s)와 Llama 3.2 1B (품질 38, $0.030/M, 33 tok/s)가 보유하고 있습니다.

4단계 - 사이드바 필터 적용하기

사이드바 필터는 개별 모델을 평가하기 전에 범위를 좁혀줍니다:

Family (모델 제품군) - Qwen, Llama, Mistral, DeepSeek, Claude, OpenAI, Gemma 및 70개 이상의 모델 제품군별로 필터링합니다. 특정 모델 제품군을 이미 결정했고 그 안에서 버전을 비교하고 싶을 때 사용하세요.

Architecture (아키텍처) - Dense (밀집), MoE (Mixture of Experts, 전문가 혼합), 또는 Hybrid (하이브리드)입니다. DeepSeek R1과 같은 MoE 모델은 추론 시 파라미터의 일부만 활성화하며, 이는 동일한 파라미터 수를 가진 Dense 모델과는 비용과 속도 측면에서 다르게 작용합니다.

Size (크기) - 파라미터 범위: <7B, 7–13B, 13–70B, 70B+. 귀하의 인프라 계층이나 예산 한도에 맞는 모델로 평가 범위를 제한할 때 사용하세요.

API - API 있음 또는 API 없음. 워크로드에 자체 호스팅 (self-hosted) 배포가 아닌 API 접근이 가능한 모델이 필요한 경우, 이 필터를 활성화하여 다운로드 가능한 가중치(weights)로만 제공되는 모델을 제외할 수 있습니다.

5단계 - 최종 후보 선정 전 ROI 계산기 사용하기

리더보드의 모든 행에는 해당 모델의 데이터가 미리 로드된 InferenceBench ROI 계산기를 여는 ROI → 링크가 있습니다.

계산기는 리더보드 컬럼(column)이 답할 수 없는 세 가지 질문에 답해줍니다:

내 사용량에서 이 모델의 실제 비용은 얼마인가? 예상되는 월간 토큰 수를 입력하세요. 계산기는 해당 모델의 모든 API 가격 옵션에 따른 실제 월간 청구 금액을 반환합니다.

언제 자체 호스팅이 API보다 저렴해지는가? 계산기는 GPU CapEx (자본 지출), 전력 소비, 냉각 오버헤드, 상각 기간 및 네트워킹을 모델링하여 API와 자체 호스팅 추론 사이의 정확한 손익분기점(break-even point)을 찾아냅니다.

이 모델에 대해 어떤 제공업체가 가장 저렴한가? 여러 제공업체가 동일한 모델을 서로 다른 요율로 제공하는 경우, 계산기는 비용 차이를 보여줍니다. 동일한 모델 가중치를 서로 다른 인프라에서 서비스할 때 이 격차는 20% 이상이 될 수도 있습니다.

모델을 최종 후보로 선정하기 전에 리더보드에서 ROI (투자 대비 수익) 계산을 실행하십시오. Value (가치) 항목에서 순위가 높은 모델이라 하더라도, 귀하의 특정 사용량(volume)에서는 가장 저렴한 옵션이 아닐 수 있으며, 귀하가 고려하지 않은 더 저렴한 가격의 제공업체가 있을 수 있습니다.

Step 6 - InferenceBench Playground에서 검증하기