대규모 언어 모델(Large language models)은 코드를 작성하고, 패치하며, 검색할 수 있지만, 온콜(oncall) 근본 원인 분석(RCA, root cause analysis)은 이와는 다른 것을 요구합니다. 즉, 사고가 발생한 지 몇 시간이 지난 후 모호한 사용자 보고서로부터 시작하여, 노이즈가 섞인 메트릭(metrics), 로그(logs), 트레이스(traces), 그리고 소스 코드(source code)를 바탕으로 추론해야 합니다. 우리는 범용 코딩 에이전트(coding agents)를 실제 운영 환경과 유사한 온콜 설정에서 테스트하는 벤치마크인 ORCA-bench를 소개합니다. ORCA-bench는 실제 텔레메트리 인터페이스(Prometheus, Jaeger, 그리고 Grafana를 통한 OpenSearch)를 통해 6일간의 메트릭, 로그, 트레이스를 노출하고 전체 소스 코드 접근 권한을 제공하는, OpenTelemetry가 적용된 라이브 마이크로서비스 시스템과 1,079개의 RCA 태스크를 결합합니다. 이 태스크들은 보고서의 구체성, 탐지 시간, 그리고 동시 발생 결함 시나리오를 체계적으로 변화시킵니다. 정답(Ground-truth) 증상은 전문 SRE(Site Reliability Engineers)들에 의해 큐레이션되고 승인되었으며, 우리의 LLM-as-judge는 인간에 의해 독립적으로 재점수화되었습니다 (Cohen's $κ_w=0.90$). 5개의 최첨단(frontier) 에이전트를 대상으로 테스트한 결과, 가장 높은 RCA 정확도(Accuracy)는 중간 난이도(Medium-difficulty) 태스크(현실적인 입력 설정)에서 25.3%, 어려운(Hard) 난이도에서 10.0%를 기록했습니다. 이는 Claude Fable 5를 사용하더라도 여전히 존재하는 격차입니다. 가장 성능이 낮은 모델은 사고 보고서의 40%에서 비현실적인 근본 원인을 환각(hallucinates)하며, 소스 코드 접근 권한을 제거하면 모든 지표가 저하됩니다. 결정적으로, 이는 코드와 인스트루멘테이션(instrumentation)이 공개된 시스템에서 격리되어 조사된 태스크들을 포함하는, 큐레이션된 50 GB / 6일 분량의 테스트베드에서의 성능입니다. 실제 운영 시스템은 이보다 수십 배 더 크고, 더 역동적이며, 더 특이적(idiosyncratic)이기 때문에, 우리가 보고하는 격차는 최첨단 코딩 에이전트가 운영 신뢰성(production reliability)을 안전하게 맡을 수 있을 때까지 필요한 엔지니어링 투자 규모의 하한선입니다. 우리는 공개 데이터셋을 https://hub.harborframework.com/datasets/orca-bench/ORCA-bench 에서 공개합니다.