AI 에이전트가 '사고'하는 것을 지켜보면 무언가 낭비되는 점을 발견할 수 있습니다. 바로 중요한 부분, 즉 도구를 호출하거나 코드를 실행하거나 답변을 제공하기 전에 모든 중간 사고 과정을 완전한 영어 문장으로 토큰 단위로 작성한다는 것입니다. 이것은 추론(reasoning)이 아닙니다. 그것은 서술(narrating)입니다.
Stanford, UIUC, 그리고 Together AI에서 발표한 논문과 오픈 소스 공개 자료는 며칠 전 Hacker News의 메인 페이지에 올라왔는데, 이 서술 과정 자체가 필요하지 않았다고 주장합니다. 이것을 HybridAgent라고 부르며, 그 핵심 아이디어는 놀라울 정도로 단순합니다. 모델이 단어 대신 원시 벡터(raw vectors)로 생각하게 하고, 외부에서 읽어야 할 때만 텍스트로 전환하는 것입니다.
트릭: 두 가지 모드, 하나의 생성 과정
대부분의 '효율적인 추론' 연구는 한쪽을 선택합니다. 모델이 잠재 공간(latent space)에서 추론하게 하거나(빠르지만 불투명하고 도구 사용에 취약함), 텍스트에서 추론하게 하는 것입니다(느리고 토큰 소모가 크지만 가독성이 높음). HybridAgent는 어느 한쪽을 선택하기를 거부합니다. 이는 단일 생성 과정 내에서 두 모드 사이를 이동하며, HybridLink라는 작은 어댑터를 사용해 모델의 마지막 은닉 상태(hidden state)를 그 자체의 입력 임베딩 공간으로 직접 매핑합니다. 이 방식은 일반적인 병목 현상—토큰을 디코딩하고, 다시 임베딩한 후, 다시 공급하는 과정—을 우회하며, 모델이 단어에 전념해야 하기 전에 순수한 벡터 형태로 수십 단계 동안 계속 '사고'할 수 있게 합니다.
<latent>와 </latent>라는 두 개의 특수 토큰은 진입점과 퇴장점을 표시합니다. 이 태그 바깥에서는 일반적인 언어 모델이 도구 호출을 하거나, 검색 결과를 읽거나, 답변을 작성하는 과정입니다. 하지만 안쪽에서는 전체 사고 과정을 문장이라기보다는 참았던 숨에 가깝게 압축합니다.
회의론자들의 불안감을 덜어줄 부분이 있습니다: 기본적으로 이것들은 블랙박스가 아닙니다. '해석 가능한 잠재 모드(interpretable latent mode)'는 모든 잠재 단계를 가짜 텍스트(pseudo-text)로 풀어내기 때문에, HybridAgent의 내부 독백을 HTML 리포트처럼 문자 그대로 관찰할 수 있습니다 — 지저분하고, 축약되었지만, 읽을 수 있는 형태로요. 공개된 추적 기록 중 하나에서는 42개의 잠재 단계가 _"공기 중 20°에서의 속도의 속도는 약 343... 확인해야 함... 검색해 보자"_와 같은 것으로 디코드되는데 — 이는 노이즈가 아니라 실제 사고의 잔상임을 알아볼 수 있습니다.
전환 학습 방법
훈련은 두 단계로 이루어집니다. 먼저, HybridSFT는 기본 모델(Qwen3 기반, 8B 및 14B)이 모든 상황에서 HybridLink와 협력하도록 가르쳐 기본적인 모드 전환 유창성을 확보합니다. 그다음 HybridRL이 역할을 맡아 잠재 모드가 언제 가치가 있는지 학습하며, 정확성, 출력 형식, 그리고 도구 호출이 실제로 성공했는지 여부를 기준으로 보상받습니다. 이 모델은 토큰을 최소화하라는 지시를 받지 않았지만, 조용히 생각하는 것이 종종 더 저렴하고 똑같이 정확하다는 것을 발견합니다.
수치적 분석
수학, 과학, 의학, 검색 및 에이전트 작업에 걸친 11개 벤치마크에서, 세 가지 모델 규모에 걸쳐 HybridAgent는 평균적으로 최첨단 텍스트 기반 에이전트와 잠재 모드 전용 에이전트를 10.4% 능가합니다 — 동시에 토큰 사용량은 35.5–54.7% 절감하고, 1.8–2.6배 빠르게 실행하며, 비용은 2.7–3.7배 적게 들입니다. 제거 분석(ablation check)이 헤드라인 통계보다 더 중요합니다: 모델의 잠재 단계를 관련 없는 문제의 것으로 교체하면 정확도가 45–51% 떨어집니다. 이 잠재적 사고 과정은 채우기 자료가 아니라 — 실제 작업을 수행하고 있습니다. 한편, 도구 호출 실행은 99.7%로 신뢰성을 유지하므로, 효율성 증가는 실제로 외부 세계와 접촉하는 부분의 희생을 통해 이루어지는 것이 아닙니다.
직접 사용해 보기
모든 것은 GitHub(togethercomputer/HybridAgent, MIT 라이선스)에 실행 가능한 체크포인트와 함께 있습니다. 논문만 있는 것이 아닙니다:
git clone https://github.com/togethercomputer/HybridAgent.git && cd HybridAgent
pip install -r requirements.txt && pip install -e .
cp .env.example .env # 검색 도구에 TAVILY_API_KEY 추가
...
CUDA GPU가 필요합니다. Qwen3 토크나이저는 이미 앵커 토큰(anchor tokens)을 내장하고 배포됩니다.
이것의 위치
이것만 그런 것이 아닙니다. 별도의 그룹에서 나온 LatentMAS는 유사한 아이디어를 다중 에이전트 시스템에 적용하여, 단일 에이전트 내부가 아닌 에이전트들 사이에서 잠재된 생각(latent thoughts)을 전달합니다. HybridAgent의 차별점은 이것이 단일 에이전트이며, 완전히 검사 가능하고, 단순히 방법론 설명만 제공하는 것이 아니라 이미 사용 가능한 가중치(usable weights)를 배포한다는 점입니다. 아마도 이 때문에 현재 HN에서 주목받는 것 같습니다. 즉, 화요일 밤에 git clone할 수 있는 무언가이지, 방법론 섹션에서 다시 구현해야 하는 무언가가 아니기 때문입니다.
핵심은 에이전트들이 더 똑똑해졌다는 것이 아닙니다. '더 똑똑하다'는 것이 반드시 '더 많은 단어'를 의미해야 한다는 가정을 마침내 멈췄다는 것입니다. 어떤 실제 규모에서든 에이전트 파이프라인을 운영하는 사람들에게, 이것이야말로 그들을 조용히 파산시키고 있던 지표였습니다.