Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM의 디코딩 온도를 상황적 특성에 맞춰 조정하는 새로운 프레임워크인 Scenario-Actor를 제안합니다. 이 방법은 트랜스포머 은닉 상태에서 시나리오 구조를 추출하고, 이를 기반으로 온도 값을 결정하여 모델 성능을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLMs)은 일반적으로 샘플링 온도(sampling temperature)에 의존하여 출력의 무작위성 정도를 조절합니다. 온도를 선택하는 주류 방법들은 보통 고정된 휴리스틱 전역 설정과 컨텍스트 또는 토큰 수준의 보정을 포함하며, 소통 시나리오의 기하학적으로 해석 가능한 표현 방식은 아닙니다. 본 논문에서는 추론된 상황적 특성에 맞춰 디코딩을 조정하는 간단하고 해석 가능한 온도 선택 프레임워크인 extbf{Scenario-Actor}를 소개합니다. Scenario-Actor는 트랜스포머(Transformer) 은닉 상태에서 시나리오 관련 구조를 추출하고, 소통 환경의 구조화된 기하학적 표현인 시나리오 임베딩(scenario embedding)으로부터 온도를 결정합니다. 실험 결과에 따르면 Llama-3.1-8B-Instruct 모델에서 Scenario-Actor는 상호작용적인 사회적 시나리오에서 강력한 목표 달성 성능을 보였으며, 개방형 명령어 수행 능력과 다중 턴 대화(multi-turn conversation)에서도 여러 기준선(baselines) 대비 상당한 향상 및 경쟁력 있는 성능을 나타냈습니다.