최근 저는 MindControl PoC(및 GitHub 링크)를 공유했습니다. 이는 llama.cpp를 위한 샘플러 수준의 가이드된 추론 예산(guided reasoning budgets)으로, 모델의 추론 예산을 단순히 강제로 절단(hard-truncating)하는 대신, 모델이 자신의 사고 예산에 대해 스스로 인지하는 문구(self-aware statements)를 통해 모델을 유도하는 방식입니다. 우리는 훌륭한 피드백을 받았으며, 가장 흔한 요청(당연한 요구입니다)은 "아이디어는 멋지지만, 구현 방식에 따라 성능 저하가 발생할 수 있으므로 벤치마킹이 필요하다"는 내용이었습니다. 이제 벤치마크 결과를 공유하게 되어 기쁩니다. 다양한 토큰 예산에 걸쳐 HumanEval+ 및 LiveCodeBench를 대상으로 네 가지 설정(config)을 테스트했습니다: naive (llama.cpp의 기존 즉각적 절단 — 어떠한 신호도 주지 않음, 우리가 개선하려는 메커니즘), 자체적인 유예 기간을 둔 hard-stop, soft-warning + hard-stop, 그리고 전체 intro + soft + hard 메커니즘입니다. 모든 테스트는 Qwen2.5-27B, Q4_K_XL (MTP) 모델로 진행되었으며, 결과는 speculative decoding(구현 특성상 사소한 부분임) 없이도 유지되었습니다. 결과: 토큰 소비가 일관되게 감소하며, 복잡한 작업일수록 그 결과가 더 두드러집니다. LiveCodeBench에서는 테스트된 모든 예산에서 순위(naive > hard-limit only > soft+hard > intro+soft+hard)가 예외 없이 유지되었습니다. 상위 구간에서는 intro+soft+hard 방식이 naive 방식보다 절반 미만의 토큰을 사용하면서도 사실상 동일한 점수를 기록했습니다. HumanEval+의 경우, 대부분의 설정이 제약이 없는 베이스라인(unconstrained baseline)과 일치하거나 이를 능가했습니다. 전체 테스트에서 가장 높은 점수(95.7%)는 가장 강력하게 가이드되고 예산이 가장 엄격하게 제한된 설정에서 나왔으며, 이는 베이스라인 토큰 수의 약 절반을 사용했습니다. 제 추측으로는, 이 특정 결과는 추론 예산(reasoning budget)이 모델이 단순한 문제에 대해 과도하게 생각(overthinking)하거나 퇴보적인 추론 루프(degenerate reasoning loops)에 빠지는 것을 방지했기 때문인 것으로 보입니다.

몇몇 분들이 제가 직접 답변드리고 싶은 구체적인 우려 사항을 제기해 주셨습니다. 이는 매우 좋은 질문들이었으며, 저 또한 적어도 이 중 일부에 대해서는 제 생각이 틀렸음을 증명당할 것을 예상하고 있었습니다. "이것들은 모델이 한 번도 학습하지 않은 토큰 시퀀스이며, 구현 방식이 특히 커스텀 시스템 프롬프트(custom system prompt)나 비표준 공백(nonstandard whitespace)을 사용할 때 모델을 분포 외(off-distribution)로 밀어냅니다." 이는 저희가 완전히 예상하지 못했던 정당한 우려였으며, 분명히 벤치마킹(benchmarking)이 필요한 부분이었습니다. 저희가 발견한 결과는 다음과 같습니다: 전체 테스트 세트에서는 집계된 정확도(aggregate accuracy)의 저하가 없었습니다. 하지만 가장 어려운 문제 하위 집합(subset)에 대해서는 구체적이고 일관된 비용이 발생했습니다. 즉, 단순한 방식(naive)을 포함하여 어떤 절단 스타일(cutoff style)을 사용하더라도 해당 부분의 정확도는 제약이 없는 베이스라인(unconstrained baseline)보다 훨씬 낮게 유지되었습니다. 따라서 저는 이것이 분포 외(off-distribution)에 대한 우려를 완전히 정당화한다고 생각하지는 않지만, 그렇다고 그것이 지배적인 효과라고 생각하지도 않습니다. 오히려 복잡하고 추론 집약적인 문제들은 더 많은 생각(thinking)을 필요로 하며, 어떤 예산 계획(budget scheme)도(저의 방식이든 단순한 방식이든) 그 문제를 해결할 수는 없다는 점에 더 가까워 보입니다. "그저 루프를 감지하고 추론을 처음부터 다시 시작하게 하면 모델을 분포 내(on-distribution)에 유지할 수 있습니다." 이는 다른 목표를 가진 좋은 아이디어입니다. 이 구현의 목적은 출력 정확도를 유지하는 것만큼이나 토큰 소비를 줄이는 데 있습니다. 제 직감으로는 이 두 가지가 상호 배타적이지 않다고 봅니다. 일반적인 경우에는 예산 인식 유도(budget-aware nudging)를 사용하고, 진정한 퇴보적 사례(degenerate cases)에 대해서는 루프 감지 및 재시작을 폴백(fallback)으로 사용할 수 있을 것입니다. 이것이 다음에 시도해 볼 만한 작업이 될 수도 있습니다. "소프트/하드 스티어링(soft/hard steering)이 단순한 절단 예산(truncation budget)을 이기지 못했습니다." 저희의 수치는 그 경험과 일치하지 않습니다. 두 벤치마크 모두에서, 모든 추가적인 가이드 단계(guidance stage)는 집계된 정확도의 손실 없이 토큰을 줄였으며, 여러 사례에서 가장 높은 가이드를 적용한 설정이 단순한 방식을 완전히 능가했습니다. 반대되는 결론을 도출하게 된 정확한 설정에 대해서는 말씀드릴 수 없지만, 도움이 된다면 서로의 기록을 비교해 보고 싶습니다.

모든 표와 차트가 포함된 전체 보고서(Full write-up)는 현재 리포지토리(repo)의 README에 게시되어 있습니다: github.com/laurencehardman/llama-mindcontrol 이것은 단일 모델에 대한 한 차례의 벤치마킹(benchmarking) 결과이므로, 이 기술이 완전히 입증되었거나 종결된 것은 아니지만, 결과는 부정할 수 없을 정도로 유망합니다. /u/hellajacked 제출 [링크] [댓글]