POLAR: 도메인 온톨로지를 활용한 툴 호출 LLM 에이전트의 위험 예방

LLM 툴 사용 에이전트는 많은 행동이 운영상의 위험을 수반하는 동적 환경에서 작동합니다. 그러나 대부분의 안전 메커니즘은 오류가 발생한 후에만 반응합니다. 기존의 사전 예방적 접근 방식들은 에이전트를 사고 과정(chain-of-thought) 숙고에 맞춰 미세 조정하거나, 자연어 가드레일을 런타임 검사로 컴파일하지만, 구조적이고 감사 가능한 판결을 노출하지는 못합니다. 우리는 작은 툴 호출 에이전트를 위한 가드레일 프레임워크인 POLAR를 제안하며, 이는 구조화된 2계층 온톨로지를 통해 되돌릴 수 있는 정도(reversibility)를 평가합니다. POLAR는 후보 역순 시퀀스(candidate inverse sequence)를 도출하여 각 행동에 등급별 되돌릴 수 있는 점수를 할당하고, 임계값에 실패하는 호출은 실행 전에 가지치기(pruned) 합니다. 6개의 에이전트 모델에 걸쳐 $ au^2$-bench에서 평가된 결과, POLAR는 항공사 도메인(airline)의 4개 에이전트에서 평균 작업 보상(mean task reward)을 0.11점에서 0.18점 향상시켰지만, 전체적으로 개선되는 모델-도메인 셀은 18개 중 8개에 불과했습니다. 소매업(retail) 및 더 강력한 에이전트에서는 종종 성능이 저하되었습니다. POLAR는 감사 가능한 구조적 검사를 제공하며 그 작업 유용성 상충 관계(task-utility trade-offs)를 특성화합니다. 보상은 예방된 피해의 직접적인 측정치가 아닙니다.