제 Open-WebUI 설정을 위해 사용하려고 개인 프로젝트로 시작한 것이 어떻게 ACL 2026 논문이 되었습니다. 연구소에서 나온 논문이 아니라, 우연히 이루어진 개인적인 단독 독립 논문입니다.
TIME은 기본적으로 Qwen3 모델이 응답 시작 시점에 거대한 추론 블록을 한꺼번에 쏟아내는 대신, 실제로 필요한 곳마다 짧은 폭발(short bursts) 형태로 사고하도록 학습시키려는 저의 시도입니다.
단순히 "사고 과정을 짧게 만들기"나 "작업별로 사고 기능을 켜고 끄기", 또는 "작업을 위해 사고를 교차 추론(interleaving reasoning)으로 나누기"와 같은 개념이 아닙니다.
그보다는 문맥(context)이 이유를 제공할 때 모델이 응답 중간에 다시 생각(re-think)할 수 있도록 하는 것에 가깝습니다.
시간(temporal)이라는 요소가 들어간 이유는 시간이 침묵, 공백, 오래된 가정, 마감 기한, 시간대 변화 등 잠재적 문맥 변화(latent context changes)를 모델링하는 매우 깔끔한 방법이기 때문입니다. 또한, 시간은 수많은 일반적인 대화에서 매우 중요합니다.
재미있는 부작용: 제가 QwQ 문제라고 생각하는 부분에도 도움이 됩니다. QwQ는 OG overthinker benchmaxxing(원조 과도한 사고 벤치마크 최적화) 모델이었으며, Qwen 라인업은 여전히 "안녕"과 같은 사소한 내용에도 사고 모드가 10k 토큰을 태워버릴 수 있는 분위기를 가지고 있습니다.
방법론 측면: Qwen3 4B/8B/14B/32B 모델에 대한 QLoRA, 4단계 커리큘럼(four-phase curriculum), Unsloth, vLLM 평가, TIMEBench 벤치마크를 사용했습니다. 제 개인 PC에서 로컬로 학습되었습니다: 7950X3D, 128GB RAM, RTX Pro 6000 Blackwell 96GB. 모든 노트북(Notebooks)과 데이터는 공개되어 있어 누구나 쉽게 재현할 수 있습니다 (14B 학습까지는 24GB VRAM으로 충분하며, 32B까지는 48GB면 충분합니다).
나중에 Qwen3.5와 Qwen3.6에도 동일한 작업을 수행하여 과도한 사고(overthinking) 문제를 줄일 수 있는지 확인해 볼 계획입니다.
병합된 체크포인트(merged checkpoints)가 너무 커서 모델 업로드는 시간이 걸리고 있지만, 데이터셋, 노트북, 스크립트, 학습 커리큘럼 및 평가 하네스(eval harness)는 업로드되었습니다.
논문 (Paper): https://arxiv.org/abs/2601.05300v2
TIME 저장소 (Repo) (데이터 및 코드): https://github.com/The-Coherence-Initiative/TIME
TIMEBench 저장소: https://github.com/The-Coherence-Initiative/TIMEBench