자기 유도 결과 잠재력 (SIOP): 검증자 없는 에이전트의 턴 수준 크레딧 할당

요약

본 논문은 장기 지평 LLM 에이전트가 중간 정보 수집 턴에서 효과적으로 보상을 받을 수 있도록 '자기 유도 결과 잠재력(Self-Induced Outcome Potential, SIOP)'이라는 새로운 방법을 제안합니다. 기존 방법들은 최종 답변에만 의존하거나 안정적인 검증자를 필요로 하는 한계가 있었습니다. SIOP는 최종 답변의 의미론적 클러스터를 미래 결과 상태로 간주하고, 이 상태들에 대한 신뢰도 인식을 바탕으로 턴 수준 크레딧을 할당하여, 검증자 없이도 정보 잠재력을 형성할 수 있게 합니다.

핵심 포인트

• SIOP(Self-Induced Outcome Potential)는 장기 지평 LLM 에이전트의 중간 턴에 보상을 할당하는 새로운 프레임워크입니다.
• 최종 답변을 의미론적 클러스터로 간주하여 잠재적인 미래 결과 상태를 정의합니다.
• 신뢰도 인식을 기반으로 목표 분포를 구축하고, 이를 통해 검증자 없이 정보 잠재력을 형성할 수 있습니다.
• SIOP는 기존의 롤아웃 수준 장점과 금표 답변 감독의 한계를 모두 극복하며 높은 성능을 입증했습니다.