Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 확산 언어 모델을 활용하여 에이전트의 추론 효율성을 높이는 방법을 제안합니다. 응답 필요성과 환경 상호작용에 따라 생성 과정을 안내하는 메타인지 제어기를 도입했습니다. 이 접근 방식은 전체 계산량을 줄여, 정확도를 유지하면서도 기존 대비 FLOPs를 크게 절감함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기확산 언어 모델(Diffusion language models)은 병렬 토큰 생성을 통해 효율적인 에이전트로 나아갈 유망한 경로를 제공합니다. 하지만 효율적인 상호작용을 위해서는 계산이 어디에 사용되어야 하는지, 그리고 얼마나 많은 텍스트가 생성되어야 하는지를 모두 조정해야 합니다.
우리는 현재 응답의 필요성과 환경과의 상호작용에 따라 확산 생성을 안내하는 메타인지 제어기(metacognitive controller)를 소개합니다. 이 제어기는 토큰을 언제 확정할지, 그리고 생성 범위가 얼마나 확장되어야 하는지를 학습하여 응답 내 전체 계산량을 줄입니다. 확산 백본(diffusion backbone)을 위한 경량 플러그인 형태인 우리의 제어기는 에이전트 궤적(agent trajectories)으로 훈련되어 정확성과 생성 비용 간의 균형을 맞춥니다. 이 접근 방식은 에이전트의 생성 과정을 에이전트가 수행하는 상호작용과 연결합니다.
다섯 가지 벤치마크에 걸친 실험 결과는 우리의 접근 방식이 가장 효율적인 기준선(baseline) 대비 평균적으로 추론 FLOPs를 20.6% 감소시키면서도 경쟁력 있는 작업 정확도를 유지함을 입증했습니다. 추가적인 제거 연구(Ablation studies)들은 또한 우리 접근 방식의 효과성을 검증합니다.