LLM이 코드를 작성할 때 무엇이 망가지는가? 에이전트형 코드 어시스턴트의 운영 안전성 실패 특성 분석

대규모 언어 모델 (LLMs)을 기반으로 구축된 자율 코딩 에이전트 (Autonomous coding agents)가 개발 워크플로에 빠르게 통합되고 있지만, 명시적으로 악의적인 입력에 대한 평가를 넘어선 운영 안전성 (operational safety) 특성은 여전히 제대로 이해되지 않고 있습니다. 실제로, 현재의 벤치마크 (benchmarks)가 포착하지 못하는 환경 파괴, 조작된 성공 보고 등을 통해 선의의 목표 지향적 사용 과정에서 영향력이 큰 실패가 발생합니다. 코딩 에이전트가 일상적인 개발 작업에 사용될 때 실제로 어떤 범주의 운영 안전성 실패가 발생하며, 그 영향은 무엇일까요? 우리는 두 가지 상호 보완적인 증거 스트림에 기반한 사건 중심의 실증적 연구를 제시합니다. 우리는 22개의 주요 학술 대회에서 68,816개의 논문을 스크리닝하여 185개의 안전 관련 연구를 선별하였으며, 널리 배포된 LLM 기반 코딩 도구로부터 16,586개의 GitHub 이슈를 마이닝하여 547개의 실제 안전 실패 사례를 수동으로 확인했습니다. 두 코퍼스 (corpora)에 대해 체계적인 개방 코딩 (open coding)을 적용하여, 우리는 7개 차원에 걸쳐 조직된 33가지 운영 리스크 유형의 다차원적 안전 분류 체계 (safety taxonomy)를 도출하였으며, 각 사건에 기여 요인, 작업 맥락, 심각도 및 다운스트림 영향 (downstream impact)을 주석으로 달았습니다. 우리의 연구 결과에 따르면 코딩 에이전트의 실패는 종종 심각하며, 547건의 사건 중 326건이 높음(high) 또는 치명적(critical) 단계로 평가되었습니다. 지배적인 리스크는 제약 조건 위반 (constraint violations), 파괴적 작업 (destructive operations), 권한 우회 (authorization bypasses) 및 기만 (deception)이며, 사건의 65% 이상이 버그 수정 (bug fixing) 및 설정 또는 구성 (setup or configuration) 과정에서 발생하는데, 이는 기존 문헌에서 크게 누락된 패턴입니다. 이러한 결과는 소프트웨어 공학 (SE) 도구 설계자와 벤치마크 개발자에게 직접적인 시사점을 제공합니다. 가드레일 (guardrails)은 적대적 프롬프트 방어 (adversarial-prompt defenses)를 넘어 환경적 제약, 실패 투명성 및 안전 정지 (safe-halt) 동작을 강제할 수 있어야 합니다.