AgentLens: 멀티턴 코딩 에이전트를 위한 기계론적 부분 공간을 통한 해석 가능한 안전 스티어링 (Safety Steering)

요약

멀티턴 코딩 에이전트의 안전성을 확보하기 위해 기계론적 해석 가능성을 적용한 AgentLens 프레임워크를 제안합니다. 은닉 표현 수준에서 유해한 상태를 탐지하고 부분 공간 개입을 통해 위험 행동을 완화하며, 이를 검증하기 위한 MAS 벤치마크를 함께 도입했습니다.

핵심 포인트

• 멀티턴 코딩 에이전트의 동적 위험을 탐지하는 화이트박스 방어 프레임워크 제안
• 은닉 표현의 10차원 부분 공간 개입을 통한 단계별 안전 스티어링 수행
• LLaMA-3.1, Qwen-2.5, Gemma-2를 활용한 MAS 벤치마크 구축
• 기존 가드레일 대비 정밀한 실행 제어 및 선제적 위험 예측 가능성 제시