본문으로 건너뛰기
arXiv논문2026. 10. 07. 12:45
ParanoiaEval: 에이전트 코딩에서 불필요한 방어 작업 벤치마킹 대표 이미지

ParanoiaEval: 에이전트 코딩에서 불필요한 방어 작업 벤치마킹

원문 발행 2026. 10. 07. 01:46원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

본 논문은 코딩 에이전트가 수행하는 위험 처리(risk treatments) 조치를 체계적으로 평가하기 위한 최초의 벤치마크인 ParanoiaEval을 소개합니다. 이 벤치마크는 소프트웨어 엔지니어링의 위험 관리 프레임워크를 기반으로 하며, 에이전트들이 불필요하거나 부적절한 방어 작업을 수행하는 경향을 분석했습니다. 실험 결과, 명시적인 증거가 있음에도 불구하고 상당한 비율로 불필요한 위험 처리가 발생함을 확인했습니다.

핵심 포인트

  • ParanoiaEval은 코딩 에이전트의 위험 처리 역량을 평가하는 최초의 벤치마크입니다.
  • 에이전트는 명확한 증거가 있어도 불필요하거나 과도한 위험 처리를 수행합니다.
  • 위험 처리는 단순히 작업 역량만으로는 보장되지 않는 독립적인 능력임을 입증했습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0