AI 코딩 에이전트 덕분에 구현 속도가 빨라졌다고 느끼더라도, 그 속도가 비즈니스적으로 어떤 결과로 이어졌는지 묻는 질문에는 답변하기 어려울 때가 있습니다.
Atlassian의 'State of Teams 2026'에 따르면, 경영진의 89%가 AI 덕분에 업무가 빨라졌다고 답했지만, 전사적인 AI의 ROI(투자 대비 수익률)를 구체적으로 제시할 자신이 있는 곳은 6%에 불과했습니다 (Atlassian). 즉, 속도가 빨라진 것과 실제 성과가 도출된 것 사이에는 아직 간극이 존재합니다.
이러한 상황에서 소프트웨어 개발 배포(Software Delivery)를 측정하는 공통의 기준이었던 DORA 연례 조사(annual survey)가 2026년에는 진행되지 않게 되었습니다. 이 기준점이 사라진 지금, AI를 활용한 개발 성과는 무엇에 연결하여 측정해야 할까요?
원문이 전달하고자 하는 바
LeadDev의 Jennifer Riggins가 작성한 'What's next for DORA?'(2026-10-26)는 DORA 연례 조사가 종료됨에 따라 업계의 반응과 향후 방향을 정리한 글입니다.
DORA 팀은 2026년 9월, 그동안 벤치마크가 되어왔던 연례 조사를 올해는 실시하지 않을 것이라고 발표했습니다. 이 글은 서두 요약에서 업계가 독립적인 벤치마크를 잃게 된 점과, 리더들이 AI의 ROI를 제시하는 데 어려움을 겪고 있어 측정 방법론이 더욱 시급하다는 점을 지적합니다.
Multitudes의 CEO인 Lauren Peate는 DORA가 업계를 코드 라인 수로 측정하던 세계에서 벗어나, 엔지니어링 업무를 고객 아웃컴(Outcome)에 연결할 수 있도록 보여주었다고 평가했습니다. 이 글은 소프트웨어 엔지니어링 활동이 어떻게 고객 가치로 이어지는지에 대한 질문 자체가 AI 시대에 그 어느 때보다 중요해지고 있다는 관점을 제시합니다.
조사가 사라진 후의 대안으로, 이 글은 다음 세 가지를 제시합니다.
- 독립적인 분석 기업이 조사를 승계한다. 다만 결과가 유료화될 가능성이 높습니다.
- 개발자 경험(Developer Experience)을 측정하는 도구 벤더가 DORA 지표를 계속 측정한다. 다만, 도구에 투자하는 조직의 결과가 업계 전체보다 좋게 나올 수 있어 벤치마크로서는 정확하지 않을 수 있습니다.
- 조직이 자체적으로 조사한다. DORA의 설문 문항은 dora.dev에서 공개되어 있으며 라이선스상으로도 재사용이 가능합니다.
자체 조사의 경우, 최근까지 DORA 리드였던 Nathen Harvey는 DORA의 지식은 자신들의 맥락에 맞게 재구성하여 사용해야 하며, 설문 문항을 공개한 이유가 바로 그것이라고 언급했습니다. 또한, 사내에서 조사할 때는 약 150개의 모든 질문을 사용할 필요 없이 비즈니스적으로 중요한 질문을 선택하고 기준치를 설정하며 실험 계획을 세워 변화를 측정하는 것도 권장한다고 조언합니다.
원문은 자체적으로 측정하는 단계까지 다루고 있으며, 이렇게 측정한 결과를 어떤 아웃컴에 연결하여 성과로 보여줄지에 대해서는 깊이 있게 다루지 않았습니다. 이 부분부터는 원문을 읽고 제가 생각한 내용입니다.
AI 활용 성과의 가시화가 과제가 되는 이유
AI를 활용한 개발 성과를 어떻게 보여줄지는 앞으로의 큰 숙제가 될 것이라고 생각합니다. AI를 도입한다고 해서 활동량(Activity)이 늘어나더라도, 그것이 아웃컴 변화로 나타난다고 할 수는 없기 때문입니다.
이러한 과제는 이미 엔지니어링 리더들이 느끼고 있는 부분입니다. LeadDev가 O'Reilly와 공동으로 정리한 'The Engineering Team Performance Report 2026'에서는, 지표를 선택하는 것이 어렵다고 답한 리더가 57%에 달했습니다. 자신들의 지표가 진정한 가치를 반영한다고 신뢰하는 비율은 44%였습니다. 이 보고서 소개 페이지는 AI로 인해 병목 현상이 코드 작성에서 리뷰 단계로 이동하면서, 엔지니어링 지표에 대한 신뢰도가 계속 하락하고 있다고 설명합니다.
Atlassian은 앞선 조사 해설에서, AI 덕분에 개인의 작업 속도는 빨라져도 증가한 결과물은 리뷰나 승인과 같은 사람의 판단을 거치는 과정에서 막히는 경향이 있다고 설명했습니다. 그와 함께 다음과 같이 언급했습니다.
활동 출력 지표(메시지, 문서, 태스크 등)는 급증하는 반면, 아웃컴 지표(전달된 가치, 인시던트, 고객 만족도 등)는 거의 변하지 않거나 오히려 악화된다.
개인이 느끼는 생산성이 높아져 있더라도, 그 이면에서 개발자 경험이 나빠지고 있는 경우가 있습니다. Annie Vella의 석사 논문('The Productivity-Experience Paradox', 조사 기간: 2024년 10월 ~ 2025년 4월)에 따르면, 참여한 엔지니어의 84%가 두 번의 조사 모두에서 AI로 인해 생산성이 높아졌다고 답했습니다. 반면, 개발자 경험 세 가지 관점 중 적어도 하나가 악화되었다고 답한 사람은 6개월 만에 14%에서 27%로 증가했습니다.
속도, 출력량, 그리고 개인의 체감 효율은 AI를 도입하면 즉시 상승하는 것처럼 보입니다. 하지만 AI에 대한 투자를 설명할 때 요구되는 것은 그 이후로 사업 아웃컴(Outcome)이 실제로 움직였는지 여부입니다. 단순히 높아 보이는 수치들을 나열하는 것만으로는 이 질문에 답할 수 없습니다.
사업 KPI와 직접 연결하기 어렵다
그렇다고 해서 AI를 활용한 개발 성과를 사업의 핵심성과지표(KPI)에 직접적으로 연결하면 되는 것도 아닙니다. 매출이나 해지율 같은 사업 KPI에는 개발 외에도 영향을 미치는 요소가 많습니다. 시장 변화, 영업 전략 및 가격 정책, 그리고 같은 시기에 진행되는 다른 캠페인 등이 그것입니다. KPI가 움직였다 하더라도, 그중 어느 부분이 AI를 활용한 개발 덕분인지 KPI만으로는 분리해낼 수 없습니다.
DORA가 공개한 ROI 계산기(ROI of AI calculator)를 보면 이러한 어려움을 잘 알 수 있습니다. 이 계산기는 AI 도입으로 얻을 수 있는 첫 해의 가치를 세 가지로 나누어 제시합니다. 기본값 그대로 계산했을 때 내역은 다음과 같습니다.
- 인력 시간 절감액 (인건비 환산): $11,000,000
- 추가 배포 기능으로 인한 매출: $990,000
- 다운타임 영향: −$344,000
가치 총합 $11,646,000 중 약 94%는 인력 시간 절감액이며, 아웃컴에 해당하는 매출 부분은 10%에도 미치지 못합니다. 이 매출액은 증가한 기능 수에 아이디어 성공률과 기능당 매출 영향이라는 두 가지 가정을 곱하여 산출됩니다. 기본값 기준으로는 증가하는 기능이 연간 6건, 성공률이 33%, 기능당 영향이 매출의 0.5%입니다.
DORA의 계산기 역시 AI를 활용한 개발 성과를 매출에 직접 연결하고 있지는 않습니다. 기능 수라는 선행 지표를 추정하여 거기서부터 매출까지는 가정을 통해 연결하고 있습니다. 이 계산기의 주석에서도 이러한 계산을 대화의 계기를 마련하기 위한 불확실성이 높은 추정치로 다룰 것을 요구합니다.
한 단계 앞선 중간지표에 연결하기
사업 KPI와 직접 연결할 수 없다면, 그보다 앞단계인 중간 지표(Intermediate Metric)를 통해 연결해야 합니다.
이를 위해서는 먼저 우리 회사의 아웃컴을 정리해야 합니다. 사업의 KPI를 두고, 이 KPI를 움직이는 중간 지표들을 나열합니다. 그 위에서 AI를 활용한 개발 변화를 어디까지 직접적으로 연결할 수 있는지 확인하고, 연결할 위치를 결정합니다.
- KPI와 직접 연결 가능하다면, KPI에 연결한다.
- 연결이 어렵다면, 더 앞 단계의 시각화하기 쉬운 중간 지표에 연결하고, KPI에 대한 영향은 이 중간 지표를 거쳐서 본다.
중간 지표에서 KPI까지는 가정을 통해 연결하게 됩니다. 이는 DORA 계산기가 기능 수에서 매출까지 아이디어 성공률과 기능당 매출 영향이라는 가정으로 연결했던 것과 같은 형태입니다. 가정이 개입된 시점에서는 확실히 검증할 수 없으므로, 중간 지표와 KPI를 나란히 기록하고, 추후에 가정한 대로 KPI가 움직이고 있는지 재검토해야 합니다.
얼마나 직접적으로 연결할 수 있는지는 제품과 사업의 KPI 구조에 따라 달라집니다. 개발 변화가 사용자에게 즉시 도달하며 다른 캠페인의 영향이 적은 KPI라면 직접 연결될 수도 있습니다. 영향을 미치는 요소가 많은 KPI일수록, 연결 지점은 더 앞 단계로 이동해야 할 것입니다. 이 답은 업계 벤치마크에서 가져올 수 없으므로 회사별로 고민해야 합니다.
중간 지표에 연결할 때는 다른 지표와 조합하여 평가해야 합니다. 단일 지표는 게이미피케이션(Gaming, 지표의 숫자를 올리는 것 자체가 목적이 되어 본래 개선으로 이어지지 않는 현상)에 대한 내성이 낮으며, 연결된 중간 지표가 상승했더라도 그 이면에서 개발 상태가 무너지고 있을 수 있습니다. 따라서 연결된 중간 지표 옆에 건전성 지표(Health Indicator, 아웃컴을 추적하는 과정에서 개발 상태가 무너지지 않았는지 확인하는 지표)를 나란히 조합하여 보여줌으로써 무엇이 일어나고 있는지 명확하게 알 수 있습니다.
DORA 계산기 역시 변경 실패율이라는 건전성 지표를 가치 계산에 포함하고 있습니다. 기본값으로는 변경 실패율이 5%에서 6%로 상승한다는 전제하에 다운타임 영향을 가치에서 차감합니다. 개발자 경험(Developer Experience) 또한 마찬가지로 살펴봐야 합니다. Vella의 연구처럼, 출력이나 체감이 생산적으로 증가했음에도 불구하고 개발자 경험은 악화될 수 있기 때문입니다.
맺으며
DORA의 연례 조사가 사라지더라도 설문 항목은 공개되어 있으므로 스스로 측정할 수 있습니다. 원문에서 Harvey가 권장했던 것은 사업에 중요한 질문을 선택하는 것이었습니다. 무엇을 선택할지는 회사 자체의 아웃컴을 정리한 후에 결정됩니다.
업계에서 공통적인 잣대가 하나 줄어든 지금, AI를 활용한 개발 성과를 어떤 아웃컴에, 어느 정도까지 연결시킬 수 있을까요? 그 정리는 각 회사의 손안에 달려있습니다.
