GLOBE: 단위 구(Unit-Sphere) 궤적을 이용한 기하학 기반 온라인 행동 조기 종료

원문 발행 2026. 10. 19. 17:01원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 추론 과정에서 불필요한 생성을 조기에 종료하는 온라인 알고리즘인 GLOBE(Geometry-Led Online Behavioral Early Exit)를 제안합니다. GLOBE는 생성된 각 세그먼트를 단위 구에 임베딩하여 의미론적 궤적을 분석하고, 신뢰도 기반의 시험 단계나 반복적인 방향 전환 감지를 통해 출력을 효율적으로 중단시킵니다.

핵심 포인트

GLOBE는 CoT 과정에서 불필요한 생성을 조기에 종료하는 온라인 알고리즘입니다.
단위 구 임베딩을 사용하여 의미론적 궤적의 모양을 분석합니다.
다섯 가지 벤치마크에서 토큰 출력 및 E2E 벽 시간을 크게 감소시켰습니다.
Full CoT 대비 평균 80.58%의 효율성을 달성했습니다.

사고 과정 (Chain-of-thought, CoT) 추론은 문제 해결 능력을 향상시킬 수 있지만, 모델들은 정답에 도달했음에도 계속해서 생성을 이어가는 경우가 많습니다. 이러한 추가 단계는 서비스 비용을 증가시키고 정확한 중간 결과를 부정확한 결과로 대체할 수도 있습니다. 우리는 모델의 CoT 과정을 조기에 종료하는 온라인적이고 훈련이 필요 없는 알고리즘인 GLOBE (Geometry-Led Online Behavioral Early Exit)를 제안합니다. GLOBE는 완성된 각 추론 세그먼트를 단위 구(unit sphere) 위의 한 점으로 임베딩하고, 그 결과로 생성되는 의미론적 궤적(semantic trajectory)의 모양을 읽습니다. GLOBE는 먼저 별도의 브랜치에서 짧은 시험 답변을 생성하는 시도 단계(trial phase)를 적용하며, 이 과정에서 신뢰도를 특정 임계값과 비교하여 수락된 시험 결과가 나오면 메인 스트림을 중단합니다. 만약 생성이 계속된다면, 궤적 단계(trajectory phase)는 해당 경로가 거의 순 진행 없이 반복적으로 방향을 전환할 때 스트림을 중단시킵니다. 수학 추론, 도구 호출, 에이전트 메모리를 포함한 다섯 가지 벤치마크에서 GLOBE는 두 모델에 걸쳐 출력 토큰을 49.7% 감소시키고 활성 종단 간(end-to-end, E2E) 벽 시간(wall time)을 51.0% 줄였으며, Full CoT와 비교하여 다섯 가지 작업 평균 80.58%를 달성했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

GLOBE: 단위 구(Unit-Sphere) 궤적을 이용한 기하학 기반 온라인 행동 조기 종료

요약

핵심 포인트

댓글