arXiv:2611.16961v1 [https://t.co/gQRNwvACTl] 2026년 11월 12일
The Value of Thinking: Learning When to Reason in Hybrid Decision Models
Zhengxu Yu (Huawei Noah’s Ark Lab), Ke Xu (University of Liverpool), Meng Fang (University of Liverpool), Haitham Ammar (Huawei Noah’s Ark Lab), Weilin Luo (Huawei Noah’s Ark Lab), Jun Wang (University College London)
요약. 기존의 적응적 추론 기법들은 모델이 작성하는 명시적인 추론을 단축하거나, 모드를 전환하여 건너뛰는 방식을 사용한다. 어느 경우든 답변은 여전히 토큰 단위로 출력된다. 우리는 얼마나 깊이 생각할지 결정하기보다는, 서로 다른 패러다임인 '제로-오어-T 사고(zero-or-T thinking)'를 탐구한다. 단일 모델이 한 번의 순방향 경로(forward pass) 내에서 암묵적인 사고만으로 답변을 생성하거나 (토큰을 전혀 생성하지 않음), 또는 그것이 가치가 있을 때 T 토큰 비용으로 완전한 자기회귀 추론(self-regressive reasoning)을 수행한다. 이를 하이브리드 결정 모델(HDM)로 구현한다. 고정된 백본(backbone)이 두 가지 모드를 담당하며, 경량의 자체 라우팅 블록(self-routing block)이 둘 중 하나를 선택한다. 이 블록은 암묵적 사고가 이미 생성한 내용으로부터 '사고의 가치'(느린 모드가 빠른 모드에 비해 추가할 것으로 기대되는 유용성)를 추정하며, 그 가치가 요청마다 설정된 비용 $\lambda$를 초과할 경우에만 느린 모드를 실행한다. 에피소드적 에이전트 태스크처럼 결정별 레이블이 존재하지 않는 경우, 우리는 **보정된 결정 정책 최적화(Calibrated Decision Policy Optimization, CDPO)**를 도입한다. 이는 에피소드 수준의 리턴으로부터 블록을 훈련하는 강화학습 (RL) 레시피이다. HDM을 MMLU-Pro, AGIEval, GPQA-Diamond, JevBench, BANKING77, MiniWoB에서 평가했다. 특히 JevBench에서는 HDM-4B가 0.857을 기록하여, Jev의 0.851 ($\text{+0.7%}$) 대비 우수했으며, 평균 속도는 0.179초 대 0.652초 ($\text{-72.5%}$)에 달했다. 에이전트적인 MiniWoB에서는 HDM-27B가 토큰 비용을 80.1% 절감한다.
1 서론
Kahneman의 인지 이중 과정 이론(Dual Process Theory)에서, '시스템 1은 자동적이고 신속하게 작동하며, 노력이나 거의 아무런 노력을 필요로 하지 않고 자발적인 통제 감각도 없다'는 반면, '시스템 2는 이에 주의를 기울이는 노력적인 정신 활동을 요구한다'(Kahneman, 2011). 이 구분은 대규모 언어 모델(LLM)에서의 추론 설계 철학을 형성해 왔지만 (Wang, 2025), 영향을 받은 연구들은 뛰어난 시스템 2 또는 뛰어난 시스템 1 중 하나를 구축하는 데 그쳤으며, 둘 다를 갖춘 모델은 충분히 탐구되지 않았다.
[IMG:N]
그림 1: JevBench의 두 질문에 대한 HDM의 제로-오어-T 사고. 왼쪽: 빠른 모드로 충분한 경우. 예측된 사고 가치가 $\lambda$보다 낮아 블록은 토큰 없이 답변하고, 이후 두 모드를 실행해도 느린 모드가 답변을 변경하지 않았음이 확인된다. 오른쪽: 느린 모드로 이동해야 하는 경우. 예측된 가치가 $\lambda$를 초과하여 느린 모드로 라우팅되고, 이후 두 모드를 실행하면 빠른 답변이 틀렸음이 확인된다. 두 사고 블록의 전문은 부록 G에 제시되어 있다.
현재 대부분의 System 2 모델(추론 모델 등)은 자기회귀적 추론 시 스케일링을 통해 성능을 향상시킵니다. OpenAI의 GPT-6, Anthropic의 Claude Fable 5, 오픈 웨이트 기반의 Qwen3.8 등이 해당하며, 답변 전에 사고의 사슬(Chain of Thought, CoT)을 작성하고 모든 질문에 대해 토큰 및 지연 시간(latency) 비용을 지불합니다. 최근 System 1 모델 계열인 Jev (TypeSafe AI, 2026)나 AnyJev (Nokia Applied Research, 2026)는 엄격한 케이스를 취하며, 추론 시 토큰을 전혀 출력하지 않고 단일의 비자기회귀 경로(non-self-regressive path)로 답변을 생성합니다. 이들은 각각 다른 종류의 모델을 훈련하는 것이 아니라, 추론 모델의 백본(backbone)을 적응시키고 있습니다.
그림 2: HDM 백본 개요. 고정된 백본은 타입 지정 요청을 토큰을 생성하지 않고 인코딩합니다. 유일한 학습 가중치를 가진 자체 라우팅 블록은 읽기 상태 $h_i$와 빠른 답변 $p_i$의 8가지 통계량을 읽고, 두 모드의 공동 결과를 반환하며, 여기서 $c_i$와 $v_i$가 도출됩니다. 라우팅은 단 한 번만 이루어집니다. 모델은 캐시된 빠른 답변을 반환하거나, 동일한 백본으로 자기회귀적으로 디코드합니다. 점선 피드백 화살표는 생성된 각 토큰을 공유 컨텍스트로 되돌려 KV 캐시를 재사용합니다. 완성된 답변만이 응답에 들어갑니다.
일련의 연구들은 추론 모델 내부의 효율성을 추구하며, 정확도를 떨어뜨리지 않으면서 사고의 사슬 길이를 단축합니다 (Snell et al., 2024; Muennighoff et al., 2025; Zhang et al., 2025b; Aggarwal and Welleck, 2025; Zhang et al., 2025a). 이러한 방법들은 사슬을 저렴하게 만들 뿐, 선택 사항으로 만듭니다. 추론이 얼마나 길게 실행되어야 하는지를 다룰 뿐, 주어진 질문이 그것을 필요로 하는지는 다루지 않습니다. 다른 연구는 모델 간 라우팅 또는 답변이 수용될 때까지 캐스케이드(cascade)를 통해 비용을 경감시킵니다 (Chen et al., 2023; Ong et al., 2024). 각 브랜치는 답변을 생성하는 모델이며, 제공되는 선택지는 고비용의 답변과 저비용의 답변 사이입니다.
하나의 모델이 두 가지 장점을 모두 보유하고 필요할 때 전환할 수 있을까요? 충분하다면 아무것도 생성하지 않고, 그렇지 않을 경우에만 추론합니다. 본 논문에서는 Zero-or-T 사고(Zero-or-T Thinking)를 도입합니다. 이는 단일 언어 모델 내에서 토큰 없는 빠른 결정과 완전한 자기회귀 추론을 통합하는 적응적 추론 패러다임입니다. 모델은 얼마나 생각할지 결정하는 것이 아니라, 자기회귀적 사고가 필요한지를 스스로 결정하며, 질문의 비용은 생성된 토큰이 0개일 수도 있고, 추론 경로에 T개의 토큰이 사용될 수도 있습니다. 구체적으로는, 질문에 대한 사고의 가치를 느린 사고 모드가 빠른 사고 모드에 대해 기대하는 효용에 더한 것으로 정의하고, 그 가치가 요청에 설정된 가격 $\lambda$를 초과할 경우에만 질문이 에스컬레이션됩니다.
우리는 Zero-or-T 사고를 **하이브리드 결정 모델(Hybrid Decision Model, HDM)**로 구현합니다. 빠른 모드와 느린 모드로 구성되어 있으며, 빠른 사고 모드는 암묵적 사고에서 직접 결정을 생성하고 토큰을 생성하지 않으며, 느린 사고 모드는 백본 자체의 추론을 그대로 계승하고 학습된 자체 라우팅 블록이 토큰이 생성되기 전에 둘 중 하나를 선택합니다. HDM은 빠른 모드가 이미 계산한 은닉 표현으로부터 사고의 조건부 이득(conditional gain)을 추정하여, 추론 시작 전에 비용을 고려한 라우팅을 완료합니다.
블록의 훈련 방법도 다룹니다. 단일 턴 질문에서는 골드 답변이 이용 가능하므로, 두 모드를 실행함으로써 더 나은 선택을 직접 구축할 수 있어 지도 학습만으로 충분합니다. 에피소드적 태스크에서는 리턴(return)이 여러 연속적인 행동에 의해 결정되며, 결정별 레이블이 존재하지 않기 때문에, HDM 훈련을 위한 PPO 기반의 강화학습 레시피인 **보정된 결정 정책 최적화(Calibrated Decision Policy Optimization, CDPO)**를 도입합니다. CDPO는 에피소드가 얻은 리턴을 그것이 지출한 에스컬레이션으로 할인한 값을 최대화하고, 이 단일한 에피소드 레벨 신호를 내부의 모든 결정에 공유합니다.
HDM을 MMLU-Pro, AGIEval, GPQA-Diamond, JevBench, BANKING77, MiniWoB로 평가했습니다. JevBench에서는 HDM-4B가 0.857을 달성하여, Jev의 0.851 대비 중앙값은 0.179초 대 0.652초였습니다. AGIEval에서는 HDM-27B가 1.5개의 정확도 포인트(accuracy point)를 37% 적은 사고 토큰과 교환했으며, MiniWoB에서는 5점의 보상을 80% 적은 토큰과 교환했습니다.
저희의 기여는 세 가지가 있습니다. 첫째, Zero-or-T 사고를 제안합니다. 질문은 생성 토큰 0 또는 추론 경로 T 중 하나의 비용이 되며, 고정된 단일 백본(backbone)이 두 모드를 모두 담당하고, 빠르게 계산된 표현을 읽어 전환하는 수백 킬로바이트의 자체 라우팅 블록(self-routing block) 덕분에 선택은 포워드 패스도 토큰도 비용이 들지 않습니다. 둘째, 사고의 가치를 해당 블록이 전환하는 기준으로 도입합니다. 이는 느린 사고 모드가 빠른 사고 모드에 더할 것으로 기대되는 효용이며, 벤치마크마다 조정된 고정된 수치가 아니라 요청에 설정된 가격 $\lambda$에 의해 임계값화되는 해석 가능한 양입니다. 마지막으로, 결정별 레이블이 존재하지 않을 때 블록을 훈련하는 CDPO를 도입합니다. 이는 에피소드가 얻은 리턴(return)을 그 에스컬레이션(escalation)에 의해 할인된 값으로부터 훈련합니다.
2 방법론
하이브리드 결정 모델은 두 가지 결정 모드 $f_{fast}$와 $f_{slow}$, 그리고 각 질문 $q$에 대해 둘 중 하나를 선택하는 정책 $\pi$를 가진 모델 $f$입니다. 질문은 $f_{\pi}(q)$에 의해 답변되며, $\pi(q) \in {\text{fast}, \text{slow}}$ (1)이며, $\pi$가 $f$의 암묵적 사고가 이미 생성한 것만을 읽는 경우 자체 라우팅이 됩니다.
본 논문에서는 $f$를 트랜스포머 기반 대규모 언어 모델(LLM)로 가정합니다. 느린 모드 $f_{slow}$ (또는 명시적 사고)는 일반적인 추론 LLM과 유사하게 토큰을 생성합니다. 빠른 모드 $f_{fast}$ (또는 암묵적 사고)는 토큰을 생성하지 않으며, 태스크 유형에 따라 다중 클래스 분류(multi-class classification) 또는 수치 예측(numerical prediction)을 통해 결정을 생성합니다(Devlin et al., 2019). 두 모드를 전환함으로써 모델은 추론이 유용한 곳에서는 추론하고, 사고가 불필요한 곳에서는 신속하게 응답하며, LLM에 내장된 세계 지식의 이점을 유지할 수 있습니다.
사고의 가치를 예측하는 것이 언제 전환해야 할지 아는 열쇠입니다. 신뢰도는 그 대체재가 될 수 없습니다. 신뢰도는 빠른 답변이 얼마나 확실한지를 보고하는 것이며, 느린 모드가 다른 답변을 할 것인지와는 별개의 문제입니다. 이 둘은 양방향으로 괴리됩니다. 사고가 빠른 모드의 올바른 답변을 망칠 수도 있고, 두 모드가 모두 올바르게 답변하는 곳에서는 아무것도 더하지 않습니다. 따라서 라우터는 두 결과를 공동으로 필요로 합니다.
라우팅 문제를 목적 함수로 기술합니다.
모드가 질문 $i$에서 얻는 효용은 그 정확도로 정의됩니다:
[ u_i(m) = a_i^m = \mathbf{1}[\text{모드 } m \text{이 } i \text{에 올바르게 답변하는}] \in {0,1}, \tag{2} ]
여기서 $m \in {\text{fast}, \text{slow}}$입니다. 두 모드를 실행하면 네 가지 결과 중 하나가 관찰됩니다: 둘 다 정확함, 빠른 쪽만 정확함, 느린 쪽만 정확함, 또는 둘 다 부정확함. 올바른 답변은 시간이 걸릴수록 가치가 낮아지며, 너무 늦으면 아무런 가치도 없게 됩니다. 대기 시간은 효용을 할인할 뿐 빼는 것이 아닙니다. 모드가 얻는 보상은 생성하는 토큰에 대한 지수 할인 하에서의 효용이며, 그 비율을 사고의 가격 $\lambda$라고 부릅니다:
[ r_i(m,\rho) = u_i(m), e^{-\rho, T_i^m}. \tag{3} ]
생성된 각 토큰은 효용을 $e^{-\rho}$배로 줄입니다. 잘못된 답변은 모든 가격에서 0의 가치를 가지며, 느린 모드는 사고의 가치가 가격을 초과할 때에만 질문 $i$에서 실행됩니다($v_i > \lambda$) (7). 즉, 사고가 올바른 답변의 확률을 최소한 $e^\lambda$배로 높일 경우에만 그렇습니다. 각 모드가 생성하는 토큰을 $T_i^{fast}$, $T_i^{slow}$라 하고(HDM에서는 $T_i^{fast} = 0$), 라우터 $\pi$는 집합 $\mathcal{D}$ 위에서 평균 효용 $\bar{u}$와 평균 토큰 비용 $\bar{T}$를 달성합니다:
[ \bar{u}(\pi) = \frac{1}{|\mathcal{D}|} \sum_{i \in \mathcal{D}} u_i(\pi(i)),\quad \bar{T}(\pi) = \frac{1}{|\mathcal{D}|} \sum_{i \in \mathcal{D}} T_i^{\pi(i)}. \tag{4} ]
우리는 주어진 $\bar{T}$에서 $\bar{u}$를 최대화하는 라우터를 찾습니다. 두 가지 제약 조건 하에: 결정 시점에 $a_i^{fast}$와 $a_i^{slow}$ 모두 얻을 수 없으며, 이미 $f$가 계산한 양만을 읽기 때문에 포워드 패스도 토큰도 추가하지 않습니다.
프롬프트(텍스트 또는 멀티모달 미디어)와 선택적 명시적 질문 $q_{1}, ext{부터 } q_{N}$ 및 각 질문에 대한 선택적 후보 답변 세트를 운반하는 일반적인 타입형 요청을 정의한다. 프롬프트만 필수이므로, 스키마는 일반적으로 요청이 이미 가지고 있는 구조에 이름을 붙인 것이며, 순수한 프롬프트 자체는 이미 자유 형식의 요청이다. 이 스키마는 두 모드를 대체할 수 있게 하며, 호출자는 어느 쪽에서 생성되었는지와 관계없이 동일한 타입의 답변을 받을 수 있도록 한다. 이를 통해 HDM은 하나의 백본(backbone)과 하나의 블록으로 후보 간 선택, 이진 판단, 단계적 점수화(staged scoring), 그리고 자유 형식 생성을 제공할 수 있다.
2.1 하이브리드 결정 모델 (Hybrid Decision Model)
HDM은 고정된 $f$에 학습 가능한 블록을 하나 추가한 것이다(그림 2). 정책 $\pi$는 두 부분으로 구성된다: 백본 트랜스포머 레이어의 은닉 상태 $h_i$에 적용되는 작은 네트워크인 자체 라우팅 블록(self-routing block)과, 사용자가 요청마다 설정하는 사고 비용 $\lambda$이다. 하나의 훈련된 블록이 전체 비용–정확도 곡선(cost–accuracy curve)을 커버하기 때문에, $\lambda$를 변경함으로써 재훈련이나 두 번째 블록 추가 없이 그 곡선을 따라 작동 지점을 이동할 수 있다.
2.1.1 아키텍처
위의 타입형 입력 요청이 주어지면, 세 가지 구성 요소가 순차적으로 실행된다(그림 2). HDM은 먼저 빠른 사고 모드(fast thinking mode)로 프롬프트를 인코딩하고, 읽기 위치에서 답변 $p_i$를 읽으며, 동일한 경로에서 은닉 상태 $h_i$를 생성한다. 자체 라우팅 블록은 다음으로 $h_i$와 $p_i$로부터 여덟 가지 통계량(표 7에 나열됨)을 읽어내고, 방정식 2의 효용 쌍 $(a_i^{ ext{fast}}, a_i^{ ext{slow}})$에 대한 분포 $\mathbf{o}_i$를 반환한다. 이 $\mathbf{o}_i$는 어느 모드가 실행되기 전 두 모드의 효용을 추정한다. 마지막으로, 느린 사고 모드(slow thinking mode)는 에스컬레이션된 질문에서만 실행되며, 빠른 경로가 이미 계산한 상태로부터 자기 회귀적으로 생성을 계속한다.
블록의 $\mathbf{o}i$는 두 개의 주변 분포를 가지며, 각각 방정식 2의 효용을 추정한다: 빠른 답변과 함께 보고되는 신뢰도 $c_i = o{i,1} + o_{i,2} = P(\text{빠름 } \checkmark)$, 이는 $\mathbb{E}[a_i^{ ext{fast}}]$에 대한 것이며; 그리고 사고의 가치이다. 방정식 3은 이를 두 모드가 성공할 확률의 로그 비율로 정의한다:
$$\mathbf{v}i = \log \frac{P(\text{느림 } \checkmark)}{P(\text{빠름 } \checkmark)} = \log \frac{\mathbf{o}{i,1} + \mathbf{o}{i,3}}{\mathbf{o}{i,1} + \mathbf{o}_{i,2}}, \tag{5}$$
이때 축소되는 지점은 선형 가격으로 주어진 차이가 아니라 사고가 가장 가치 있는 곳이다.
빠른 사고 모드(Fast thinking mode).
후보가 나열된 상태에서 HDM의 빠른 사고 모드는 토큰을 출력하지 않는다. 질문 $i$의 프롬프트를 $x_i$라 하고, 여기에는 후보와 그 코드가 포함되며, 답변은 $f$가 다음에 생성하는 것으로 만드는 경계 문자열로 끝난다. $t_i = |x_i|$는 이의 최종 위치이자 읽기 위치이다. $x_i$에 대한 $f$의 단일 순방향 패스(forward pass)는 $t_i$에서 은닉 상태 $h_i \in \mathbb{R}^d$를 남기고,
$$\mathbf{z}i = (W{
m out} \mathbf{h}i){\mathcal{C}_i} \in \mathbb{R}^{K_i}, ext{ 그리고 } \mathbf{p}_i = \operatorname{softmax}(\mathbf{z}i), \tag{6}$$
여기서 $W{\text{out}} \in \mathbb{R}^{|V|\times d}$는 $f$의 어휘 $V$로의 출력 투영(output projection)이며, 토큰당 하나의 로짓을 제공하고 $\mathcal{C}_i$는 질문 $i$의 $K_i$개 후보의 코드를 인덱싱한다. 후보 로짓 $\mathbf{z}_i$는 후보들끼리 점수를 매긴다. 우리는 각 후보를 자체 텍스트로 점수화하는 읽기(reading)도 구현하지만, 균일성을 위해 여기에서의 모든 실험은 코드 인덱스를 읽는다.
느린 사고 모드(Slow thinking mode).
질문 $i$는 사고의 가치가 가격을 초과할 때($v_i > \lambda$) 에스컬레이션된다(7). 에스컬레이션 시, 첫 번째 토큰은 빠른 경로가 이미 인코딩한 접두사(prefix)로부터 정상적으로 생성되며, 디코딩은 사고 예산 $B$ 토큰까지 자기 회귀적으로 진행되므로, 자체 라우팅 블록을 재상담하지 않아 결정은 토큰별이 아닌 질문당 한 번 이루어진다. 두 모드 모두 하나의 프롬프트에서 렌더링되기 때문에 컨텍스트는 공유되며, 에스컬레이션은 두 번째 접두사에 대한 비용을 지불하지 않는다. 템플릿 메커니즘의 세부 사항은 부록 C를 참조하라.
2.1.2 생각의 가격
공유 예산이 없는 경우, 식 3의 기대 보상은 질문들 사이에서 분해되므로, 각 질문은 독립적으로 결정됩니다. 빠른 모드는 아무것도 생성하지 않기 때문에 그 보상은 P(빠름 ✓)이며, 느린 모드의 P(느림 ✓) e^{-ρ T_i^slow}에 대한 것입니다. 에스컬레이션(escalation)은 v_i > ρ T_i^slow일 때 정확하게 지불됩니다. 우변은 요청의 특성이 아니라 질문 자체의 특성이며, 느린 경로가 실행될 때까지는 미지입니다. 따라서 우리는 느린 경로를 평균 길이 T̄_slow로 가격 책정하고, 에스컬레이션당 가격 λ = ρ T̄_slow로 라우팅합니다. 이는 생각의 가치 v_i(5)와 가격 간의 트레이드오프를 하나의 임계값으로 해결합니다:
[ ext{escalate}_i = \mathbf{1}[v_i > \lambda]. \tag{7} ]
모드로 표현하면, 이는 식 1의 정책 π입니다: 에스컬레이션은 π(q_i) = slow를 의미합니다. λ로 에스컬레이션하는 것은 정확한 규칙 v_i > ρ T_i^slow를 근사합니다. 모든 에스컬레이션을 동일하게 과금하면, 질문 i는 ρ(T_i^slow − T̄_slow)만큼 오가격 책정되며, 생각이 길게 실행되는 곳에서는 에스컬레이션이 과도하고, 짧게 실행되는 곳에서는 에스컬레이션이 부족합니다. 본 논문의 다른 부분들, 표 1의 행이나 CDPO가 계산하는 가격을 포함하여, λ는 에스컬레이션당 가격입니다. ρ는 식 3의 토큰당 가격이며, 다른 곳에서는 사용되지 않습니다.
2.1.3 생각은 실제로 무엇을 구매하는가?
본 절에서는 디코더(Decoder)만으로 구성된 백본(Backbone)이 인코더(Encoder)로 기능할 수 있는 이유를 설명합니다. 생성되는 모든 것이 디코더 단독의 포워드 패스(Forward Pass)를 통해 이루어지는 것은 아닙니다. 토큰이 생성되기 전에, 백본은 요청을 부호화합니다: 토큰은 잠재 공간(Latent Space)으로 들어가고, 각 레이어는 그 아래 레이어가 보유한 것을 추상화합니다. 이는 모델이 명시적으로 출력하지 않고 수행하는 생각이며, 잠재적 또는 암묵적 추론(implicit inference)으로 연구되어 왔습니다 (Yang et al., 2024; Wang et al., 2024a; Hao et al., 2024). 남겨진 상태는 다른 형태의 입력이 아니라, 모델이 이미 처리한 정보입니다.
저희 자체 실험도 이를 뒷받침합니다. 표 2에서는 빠른 모드가 대부분의 항목을 생성하지 않고 답변하는 것을 보여줍니다. 표 5에서는 동일한 상태가 라우팅 블록에 생각(thought)이 그 답변을 변경할지 여부를 전달하며, 이는 빠른 답변 자체의 출력 분포보다 더 많은 정보를 제공합니다.
생각은 숙고(deliberation) 단계를 구매합니다. 생성된 각 토큰은 컨텍스트로 재진입하고, 다음 패스는 더욱 앞선 곳에서 시작됩니다 (Li et al., 2024). 따라서 생각의 가치는 그 숙고가 답변을 변경하는 지점에 대한 우리의 추정치입니다.
2.2 에피소드형 태스크를 위한 보정된 결정 정책 최적화
다중 턴(multi-turn)의 에이전트 태스크에서는, 단일 질문의 정답 여부가 보통 태스크 성공을 결정하지 않으며, 학습 대상이 되는 각 질문에 대한 레이블이 존재하지 않는 경우가 많습니다. (레이블이 얻어지는 경우, 우리는 같은 블록을 자체 레이블링된 지도학습(self-labeled supervised)으로 훈련할 수 있습니다. 섹션 2.3 참조.)
따라서 우리는 보정된 결정 정책 최적화(Calibrated Decision Policy Optimization, CDPO)를 도입합니다. 이는 에피소드 리턴으로부터 학습하는 PPO 기반의 강화학습(Reinforcement Learning, RL) 레시피입니다. 먼저 표기법을 확립하겠습니다. 스텝 $t^$가 에스컬레이션했는지 여부를 $e^t \in {0,1}$로 표기하고, $R$을 최종 리턴(terminal return)으로 합니다. 이는 에피소드 단위에서의 수식 2의 효용입니다. 각 결정에 대해 비용 $\lambda_t$가 차감됩니다. 목표는 수식 3이 질문에 부여하는 할인된 리턴이며, $G_t = R e^{-\lambda_t \sum_s e_s}$ 입니다. 지수는 수식 3이 토큰을 청구하는 위치에서의 에스컬레이레이션을 계산하며, 섹션 2.1.2의 정규화에 따라: 에스컬레이션된 스텝은 캡(cap)까지 추론하고 빠른 모드는 아무것도 생성하지 않기 때문에, 스텝당 차이 $T_t^{slow} - T_t^{fast}$는 거의 일정하며 $\lambda$에 흡수됩니다. $\lambda$는 다시 에스컬레이션당 비용입니다. 블록은 규칙의 소프트 형식으로 훈련됩니다: $\pi{\theta}(e_t | x_t, \lambda_t) = \sigma((v_t - \lambda_t)/\tau)$ (온도 $\tau$). 이는 $\theta$에 대해 미분 가능하며, $\tau \to 0$일 때 수식 7을 회복합니다. 에피소드는 행동했던 정책 $\mu$ 하에서 수집되므로, 기록된 각 결정은 $\rho_t = \pi_{\theta}/\mu$로 재가중(re-weighted)됩니다. 수십 스텝에 걸쳐 곱해진 비율은 붕괴하기 때문에, 이 비율은 PPO의 클리핑된 근사치(Schulman et al., 2017) 내에서 결정별로 취해집니다. 이를 통해 CDPO는 그 목적의 근사치가 되며, 그 기울기(gradient)의 불편 추정치는 아닙니다 (부록 F). 장점은 $A_t = G_t - \hat{G}$이며, 그 리턴은 에피소드 단위이고, 기준선 $\hat{G}$는 동일한 비용이 적용된 평균 리턴입니다.
2.3 비에피소드형 태스크를 위한 자체 레이블링 지도학습
정확한 레이블을 쉽게 얻을 수 있는 태스크의 경우, 결정을 크로스 엔트로피(cross-entropy) 기반의 사방향 분류(four-way classification)로 처리하여 자가 라우팅 블록을 지도 학습 목적으로 훈련할 수도 있습니다. 온도가 0일 때 고정된 백본은 결정론적 변환(deterministic mapping)으로 취급될 수 있으므로, 레이블이 지정된 질문에서의 느린 사고 모드의 정확도는 고정됩니다. 골드 표준 답변을 가진 질문 세트가 주어지면, 우리는 빠른 사고 모드(여러 후보 계층 $\ell$에 대한 $h_i^{(\ell)}$와 통계량 $s_i$ 기록)와 느린 사고 모드($a_i^{slow}$와 $T_i$ 기록)를 실행하고, 둘 다 골드 표준과 비교하여 사방향 레이블 $y_i \in {0,1,2,3}$을 얻습니다 (부록 E). $y_i$가 주어지면, 블록은 $h_i$와 $s_i$ 위에서 네 클래스에 대한 크로스 엔트로피를 통해 적합됩니다:
[ \mathcal{L}(\theta) = -\frac{1}{|\mathcal{D}|} \sum_{i \in \mathcal{D}} \log P_{\theta}(y_i | \mathbf{h}_i, \mathbf{s}i), \tag{9} ]
여기서 $P{\theta}(\cdot | h_i, s_i)$는 블록이 반환하는 분포 $\mathbf{o}_i$입니다. 손실에는 비용(price)이 나타나지 않으므로, 하나의 적합(fit)이 모든 $\lambda$에 대응합니다.
3 실험
3.1 설정
백본.
모든 실험은 두 개의 백본인 Qwen3.5-4B와 Qwen3.8-27B로 실행됩니다. 더 큰 모델을 사용하여 주요 결과를 반복합니다. 사고 예산(Thought Budget)을 $B = 4096$ 토큰으로 설정하고, 느린 사고 모드를 탐욕적으로 디코드합니다. 이 캡 아래에서, Qwen3.5-4B의 질문 중 36.1%, Qwen3.8-27B의 14.9%가 잘리므로, 해당 토큰 수와 정확도는 하한선입니다. 두 백본 모두 SGLang으로 제공됩니다. 부록 A에 요청 스키마 및 그 제공 경로를, 부록 B에 하이퍼파라미터를 제시합니다.
저희의 하이브리드 결정 프레임워크는 https://t.co/wdCNNbzp2F...에서 오픈 소스로 공개되었습니다.
표 1: 범용 질문 응답(General Question Answering)에서 HDM이 토큰 및 실시간 비용을 얼마나 압축하는지 평가합니다. 다섯 가지 가격에서의 정확도(Accuracy), 에스컬레이션(Escalation), 그리고 비용(Cost)을 보여줍니다. 여기서 에스컬레이션은 느린 사고 모드(slow thinking mode)로 보내진 질문의 비율입니다. 토큰과 초는 질문당 기준값입니다. 여섯 개의 열은 모두 B=4096, 레이어-1, 요청당 질문 1개를 기준으로 합니다. 괄호 안의 수치는 해당 블록의 'Slow only' 행 대비 비용 변화를 나타내며, 굵은 글씨는 저희의 결과를 보여줍니다. λ는 에스컬레이션 1회에 가격을 매기므로, 열 내에서 비교가 가능합니다. 느린 경로는 각 벤치마크 및 각 백본(backbone)마다 다른 토큰 수를 비용으로 사용하며, 동일한 λ라도 경우에 따라 가격이 다릅니다.
(표의 수치는 원문과 같습니다.)
(원문은 여기서 끝납니다.)