Kaggle에는 매일 최대 10달러, 한 달에 100달러를 사용할 수 있는 「AI」라는 리소스 (AI Quota)가 있습니다.

이것은 주로 「 Kaggle Benchmarks 」라는 AI 모델 검증 플랫폼에서 다양한 LLM의 API를 호출하기 위해 사용할 수 있는 이용 한도입니다.

위 이미지에 있는 것처럼 Kaggle에는 GPU나 TPU의 무료 할당량도 있습니다. 이것은 Kaggle Notebook에서 CNN 등의 복잡한 병렬 처리를 실행하기 위한 머신 리소스입니다.

Kaggle Benchmarks에서는 예를 들어 다음과 같은 모델들을 비교할 수 있습니다.

• Claude(Anthropic)
• DeepSeek
• Gemini(Google)
• Gemma(Google)
• GPT(OpenAI)
• Qwen(QwenLM)
• Grok(xAI)
• Glm(Z.ai)

왜 스스로 모델을 비교할 필요가 있는지에 대해서는 세 가지 이유를 들 수 있습니다.

각 모델의 성능에 대해, 각 기업은 MMLU (Massive Multitask Language Understanding) 등의 표준적인 AI 벤치마크 테스트 결과를 공개하고 있습니다.

하지만 개별 태스크에 대해서는 "MMLU 점수가 높으니까 유용하다"라고 단정 지을 수 없기 때문에, 다양한 모델의 퍼포먼스를 시험해 볼 필요가 있습니다.

가장 비싼 최상위 모델을 사용하지 않더라도, 처리 속도가 빠르고 비용을 억제할 수 있는 모델로 목표로 하는 점수를 낼 수 있다면 좋겠다는 식의 최적해를 찾는 데 도움이 됩니다.

이것은 많은 분이 적어도 정성적으로는 해왔던 일이기도 하므로 이미지를 떠올리기 쉬울 것입니다.

서버 부하 경감이나 안전성 향상을 이유로 사업자가 모델의 사양이나 가중치(Weight), 필터 등을 업데이트하는 경우가 있습니다.

그러한 상황에 대해, 다양한 모델로 정기적으로 동일한 태스크를 풀게 하는 등의 관찰을 수행할 수 있습니다.

스스로 태스크 또는 벤치마크를 작성할 수 있습니다.

예시로 「LLM-as-a-Judge (AI에게 다른 AI를 채점하게 하는 기법)」 태스크 코드를 소개합니다.

다음 코드에서는 테스트하고 싶은 LLM에게 「파충류의 이름을 중복 없이 100개 리스트업하라」고 명령하고, Gemini 2.5 Pro로 정오 판정을 하게 하고 있습니다.

@bm.task(name="Name 100 Reptile Species")
def name_reptile_species(llm): # 여기에 Claude 나 DeepSeek 가 들어감
judge = bm.llms['google/gemini-2.5-pro']
...

결과는 이러한 뷰(View)로 확인할 수 있습니다.

이와 같이 범용 벤치마크 (MMLU 등)에는 실려 있지 않은 니치(Niche)한 태스크를 수행하는 최적의 모델을 찾을 수 있습니다.

이 머신 리소스의 이용 한도로서, AI Quota를 하루에 10달러분 사용할 수 있는 것입니다.

무료 LLM 이용 한도를 사용하여, 외부의 자작 앱 등으로부터 API로서 호출하는 프로토타입을 소개하는 영상이 있었습니다.

Kaggle의 노트북 상에서 FastAPI를 백그라운드로 실행하고, Gradio의 터널링 기능을 사용하여 일시적인 퍼블릭 URL을 발행하여, 외부에서 OpenAI 호환 형식으로 Kaggle의 AI Quota를 활용하고 있습니다.