컴파일 후 페이지 처리: 실행 가능한 SOP 프로그램 및 절차적 LLM 에이전트를 위한 역량 제한형 런타임
요약
본 논문은 엔터프라이즈 환경에서 안전성이 중요한 표준 운영 절차(SOP)를 따르는 LLM 에이전트의 신뢰성을 높이는 방법을 제시합니다. SOP 제약 조건을 유사 코드로 컴파일하고, 이를 페이지 처리하는 안내형 스택 머신으로 구동하여 의미적 실행을 수행합니다. 연구 결과, 이 접근 방식은 모델 성능 향상에 효과적이며, 특히 '활성 프레임' 처리가 중요함을 보여줍니다.
핵심 포인트
- SOP 제약 조건을 유사 코드로 컴파일하여 LLM의 신뢰성을 높입니다.
- 페이지 처리(PG) 스택 머신을 통해 의미적 실행을 안내하고 구동합니다.
- 컴파일된 텍스트는 공식 산문 대비 성능 저하가 적습니다.
- 활성 프레임 처리가 에이전트의 거부율 및 정확도 향상에 기여합니다.
엔터프라이즈 에이전트는 장기적인(long-horizon), 조건부이며 안전에 중요한 표준 운영 절차(SOPs)를 따라야 합니다. 우리는 기계가 읽을 수 있는 SOP 제약 조건을 실행 가능한 유사 코드(pseudo-code)로 컴파일하고, LLM이 의미적 실행(semantic execution)을 수행하는 동안 활성 프레임(active frame)을 페이지 처리하는 프로그램 안내형(PG) 스택 머신으로 이를 구동합니다. 6개 모델에 걸친 세 가지 팔(three-arm)의 SOPBench 연구는 표현(representation)과 런타임(runtime)을 분리합니다: 컴파일된 텍스트는 공식적인 산문(prose)이 성능이 떨어지는 영역에서 결코 크게 손해를 보지 않으며 최대 16.0점까지 얻습니다. 런타임 안내는 역량 제한형입니다. 두 개의 강력한 모델은 독립적으로 긍정적인 7개 도메인 PG 대비(58:19 및 75:31의 불일치 쌍)를 보여주는 반면, 약한 모델들은 피해를 입습니다. 전체 프로그램 커서 제거(full-program cursor ablation)(활성 프레임 우선, 전체 프로그램 유지)는 강력한 모델의 거부율 이득 중 상당 부분을 회복하며, 선택적 가시성은 더 작은 개선을 추가합니다. 쌍으로 측정된 프로브 및 감사 측정은 재구성 능력보다는 자발적인 상태 규율(spontaneous state discipline)로 이러한 격차를 추적합니다. Bank 데이터셋에서 세 가지 주요 팔은 70.4에서 86.4, 그리고 92.8까지 상승하며, 거부 정확도는 100%입니다. 실용적인 안내: 먼저 컴파일하고; 모델 수준의 규율 확인 후에만 활성 프레임 페이지 처리를 활성화하십시오.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기