SABER: 상태 유지 프로젝트 워크스페이스 내 LLM 코딩 에이전트의 운영 안전성 벤치마킹

대규모 언어 모델 (Large language models)이 코딩 에이전트 (coding agents)로 점점 더 많이 배치됨에 따라, 안전성 (safety)의 초점이 개별 응답에서 일련의 행동 시퀀스 (action sequences)로 이동하고 있습니다. 그러나 기존의 벤치마크 (benchmarks)는 주로 모델이 안전하지 않은 프롬프트 (prompts)를 거부하는지 여부를 평가하며, 상태 유지 워크스페이스 (stateful workspaces)에 미치는 영향은 거의 조사되지 않은 상태로 남아 있습니다. 우리는 모델을 현실적인 에이전트 스타일의 프로젝트에 배치하고, 일련의 행동 이후의 최종 환경 상태 (final environment state)로부터 안전성을 평가하는 환경 인지 운영 안전성 (environment-aware operational safety) 벤치마크인 SABER를 제시합니다. SABER는 이진 형태의 안전 위반 보고 (binary safety-violation reports)를 넘어, 위반 사항을 원인별로 분류하여 모델별 안전 프로필 (safety profiles) 분석을 가능하게 합니다. 우리의 평가 결과에 따르면, 가장 성능이 뛰어난 모델조차 54% 이상의 유해 안전 위반율 (harmful safety-violation rate, HSR)을 보였으며, 이는 현재의 정렬 (alignment) 기술이 현실적인 프로젝트 환경에는 여전히 불충분함을 시사합니다. 또한 SABER는 모델 전반에 걸쳐 뚜렷한 안전 프로필을 드러냅니다. 우리의 벤치마크는 https://github.com/sssr-lab/saber 에서 공개적으로 이용 가능합니다.