Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
코딩 에이전트의 운영 안전성을 평가하기 위한 새로운 벤치마크인 SABER를 제안합니다. 기존의 프롬프트 거부 방식에서 벗어나, 일련의 행동 이후 환경 상태 변화를 통해 안전성을 측정하며 모델별 안전 프로필 분석을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (Large language models)이 코딩 에이전트 (coding agents)로 점점 더 많이 배치됨에 따라, 안전성 (safety)의 초점이 개별 응답에서 일련의 행동 시퀀스 (action sequences)로 이동하고 있습니다. 그러나 기존의 벤치마크 (benchmarks)는 주로 모델이 안전하지 않은 프롬프트 (prompts)를 거부하는지 여부를 평가하며, 상태 유지 워크스페이스 (stateful workspaces)에 미치는 영향은 거의 조사되지 않은 상태로 남아 있습니다. 우리는 모델을 현실적인 에이전트 스타일의 프로젝트에 배치하고, 일련의 행동 이후의 최종 환경 상태 (final environment state)로부터 안전성을 평가하는 환경 인지 운영 안전성 (environment-aware operational safety) 벤치마크인 SABER를 제시합니다. SABER는 이진 형태의 안전 위반 보고 (binary safety-violation reports)를 넘어, 위반 사항을 원인별로 분류하여 모델별 안전 프로필 (safety profiles) 분석을 가능하게 합니다. 우리의 평가 결과에 따르면, 가장 성능이 뛰어난 모델조차 54% 이상의 유해 안전 위반율 (harmful safety-violation rate, HSR)을 보였으며, 이는 현재의 정렬 (alignment) 기술이 현실적인 프로젝트 환경에는 여전히 불충분함을 시사합니다. 또한 SABER는 모델 전반에 걸쳐 뚜렷한 안전 프로필을 드러냅니다. 우리의 벤치마크는 https://github.com/sssr-lab/saber 에서 공개적으로 이용 가능합니다.