개요
TwIL-8B는 webAI-Official에서 개발한 8.79B 매개변수(parameter)를 가진 영어 텍스트 생성(text-generation) 모델로, IBM Granite 4.2 8B를 기반으로 컨테스트 수학(contest mathematics), 코드 및 명령어 수행(instruction following)을 위해 후처리(post-trained)되었습니다. 이 모델은 균형 잡힌(balanced) 버전과 상세한(verbose) 버전을 제공합니다. 제공된 벤치마크 결과에 따르면, 수학, 코딩, 명령어 수행 분야에서 강점을 보였으며 지식 기반이 무거운(knowledge-heavy) 벤치마크에서는 상대적으로 약한 결과를 보였습니다.
최적 사용 사례
텍스트 기반의 컨테스트 수학, 코드 생성 또는 문제 해결, 그리고 명령어 수행 작업에 이 모델을 활용할 수 있습니다. 균형 잡힌 버전은 짧은 추론 과정을 가진 일반적인 용도로 설계되었으며, 상세한 버전은 더 긴 추론 과정이 허용되는 어려운 컨테스트 스타일 문제에 적합합니다.
한계점
지식 기반 관련 결과는 문서화된 약점입니다. GPQA Diamond 점수는 70.2점을 기록했으며, 제공된 비교에서는 Qwen3.5-9B 및 Gemma 4 31B 대비 GPQA Diamond, MMLU-Pro, HLE에서 낮은 점수를 보였습니다. 이 모델은 긴 추론 과정을 생성할 수 있습니다. 벤치마크 토큰 수는 하네스(harnesses)와 토크나이저(tokenizers)가 다르기 때문에 방향성을 나타내는 것일 뿐입니다. Granite 4.2 기본 모델이 가지고 있는 수준 이상의 안전성 또는 선호도 조정은 없습니다. LiveCodeBench, IFBench 및 지식 벤치마크를 포함하여 보고된 여러 결과는 상세한 버전으로 측정되었으며 아직 균형 잡힌 버전으로 실행되지는 않았습니다. 경쟁사 수치는 발표된 결과이며 재실행되지 않은 것입니다.
비교 분석
Qwen3.5-9B와 비교했을 때, 제공된 결과에 따르면 TwIL-8B는 MATH-500, LiveCodeBench, IFBench 및 4개의 공유 컨테스트 세트 중 2개에서 앞서나갔지만, GPQA Diamond, MMLU-Pro, AIME 2026, HMMT Feb 2026에서는 뒤처졌습니다. Gemma 4 31B와 비교했을 때는 MATH-500, AIME 2025, LiveCodeBench에서 우위를 점하지만, 여러 지식, 명령어 수행 및 컨테스트 벤치마크에서는 뒤처집니다. 이들은 통제된 재실행이 아닌 출처가 보고한 비교 결과입니다. 기타 제공된 내부 모델 페이지에는 TwIL-LM3-Pro와 TwIL-LM3가 포함되어 있으며, 이들의 설명은 형식 논리(formal logic)에 초점을 맞추고 있어 TwIL-8B와의 직접적인 벤치마크 비교 가능성을 확립하지는 않습니다.
기술 사양
GraniteForCausalLM을 사용한 Granite 디코더 전용 밀집 트랜스포머
40개의 레이어, 4096의 은닉 크기(hidden size), 32개의 어텐션 헤드와 8개의 KV 헤드를 가집니다. 이 모델은 8,791,592,960개의 파라미터를 가지며, 토크나이저 어휘 크기는 100,352개이고, 기본 모델로부터 상속받은 컨텍스트 창(context window) 크기는 131,072 토큰입니다. 이 모델은 전체 파라미터의 지도 미세 조정(supervised fine-tuning)과 GRPO/DAPO 강화학습(reinforcement learning)을 통해 후처리되었습니다. 'balanced'는 추가적으로 길이 인식 RL(length-aware RL)을 사용합니다. 두 변형 모두 아키텍처, 토크나이저, 채팅 템플릿 및 생성 구성을 공유합니다. 체크포인트는 bfloat16 (변형당 16.38 GiB)이며, GGUF 빌드가 제공됩니다. 제공된 설명에는 'balanced'용 4.98 GiB Q4_K_M 빌드가 명시되어 있습니다. 라이선스는 webAI Non-Commercial License version 1.0이며, 기본 모델은 Apache License 2.0으로 식별됩니다. 평가는 사고(thinking) 기능이 활성화된 고난도 pass@1로 설명되었으며, 하드웨어 또는 지연 시간 측정값은 제공되지 않습니다.
모델 입력 및 출력
모델의 채팅 템플릿으로 형식화된 영어 텍스트를 입력합니다. 제공된 예시는 사용자 메시지와 apply_chat_template을 사용합니다.
; 모델 카드는 텍스트 입력과 텍스트 출력을 설명합니다. 기본 채팅 형식은 답변 전에 '...' 추론 블록을 방출합니다.
출력 (Outputs)
일반적으로 추론 블록 뒤에 답변이 이어지는 생성된 텍스트입니다. 'balanced'는 더 짧은 추론 흔적(reasoning traces)을 생성하는 것으로 설명되며, 'verbose'는 더 긴 흔적을 생성합니다. 제공된 예시는 max_new_tokens를 32768로 설정했지만, 이는 명시된 모델 제한이라기보다는 예시 설정입니다.
시작하기 (Getting started)
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "webAI-Official/TwIL-8B"
...
자주 묻는 질문 (Frequently asked questions)
Q: 기본적으로 어떤 변형이 로드되나요?
A: 서브폴더 없이 webAI-Official/TwIL-8B를 로드하면 'balanced'가 선택됩니다. 'verbose' 변형을 로드하려면 verbose 서브폴더를 사용하세요.
Q: 변형들은 어떻게 다른가요?
A: 이들은 아키텍처(architecture), 토크나이저(tokenizer), 채팅 템플릿(chat template), 그리고 생성 구성(generation configuration)을 공유합니다. Balanced는 짧은 추론 과정으로 일반적인 사용에 적합하며, verbose는 더 긴 추론 과정을 요구하는 어려운 대회 스타일 문제에 적합합니다.
질문: TwIL-8B는 어떤 작업을 위해 설계되었나요?
A: 명시된 전문 분야는 대회 수학(contest mathematics), 코드, 그리고 명령어 추종(instruction following)입니다. 이 모델은 영어 텍스트 입력/텍스트 출력(English text-in/text-out) 모델입니다.
질문: 지정된 컨텍스트 창 크기는 얼마인가요?
A: 제공된 모델 세부 정보에 따르면, 이 컨텍스트 창은 Granite 4.2 기본 모델로부터 상속받은 131,072 토큰으로 지정되어 있습니다.
질문: 이 모델은 강력한 일반 지식 성능을 제공하나요?
A: 제공된 비교 자료는 지식 중심 벤치마크(knowledge-heavy benchmarks)를 약점으로 식별합니다. GPQA Diamond 점수는 70.2이며, 보고된 MMLU-Pro 및 HLE 결과 역시 여러 비교 모델에 뒤처집니다.
질문: 모든 벤치마크 결과가 balanced 변형(variant)을 위한 것인가요?
A: 아닙니다. 출처는 LiveCodeBench, IFBench, MMLU-Pro, HLE를 포함한 여러 결과가 verbose에서 측정되었으며 아직 balanced에서는 실행되지 않았다고 표시합니다.
질문: 어떤 라이선스가 적용되나요?
A: 이 모델은 webAI Non-Commercial License 버전 1.0으로 등재되어 있습니다. 제공된 세부 정보는 Granite 4.2 기본 모델의 라이선스를 별도로 Apache License 2.0으로 식별합니다.
