실무에서의 전달 일관성 측정: 멀티 플랫폼 릴리스 환경에서의 DORA 확장

DevOps Research and Assessment (DORA) 프레임워크는 엔지니어링 팀 전반의 성과 측정을 위해 가장 널리 채택되는 측정 시스템입니다. 그러나 모든 DORA 지표는 1차 모멘트 통계량 (first-moment statistic) 또는 단순 비율 (simple ratio)이며, 이는 엔지니어링 프로세스에 대한 잠재적 통찰력을 제한합니다. 예를 들어, 배포 빈도 (Deployment Frequency)와 같은 지표는 배포 타이밍의 분포 형태 (distributional shape)를 포착하지 못하므로, 동일한 측정값을 가진 팀이라도 메트로놈처럼 규칙적인 리듬으로 배포할 수도 있고, 바람직하지 않게 불규칙한 폭발적 형태로 배포할 수도 있습니다. 우리는 릴리스 간격의 변동 계수 (coefficient of variation)에서 유도된 리듬 규칙성의 유계 2차 모멘트 측정치 (bounded second-moment measure)인 전달 일관성 (Delivery Consistency, DC)을 개발하고 시범 운영해 왔습니다. 다른 DORA 개념들과 결합하여, 우리는 DC를 Delivery Health Matrix에 통합했습니다. 이는 결합된 판독값을 차별화된 개입으로 매핑하는 8가지 아키타입 (eight-archetype) 진단 도구입니다. 우리는 Jira, GitHub, Firebase 기록에서 추출한 120주간의 데이터를 사용하여 4개 플랫폼 소프트웨어 전달 그룹에 대한 경험적 평가를 보고합니다. DC를 통해 우리는 DORA 등급 배치는 동일하지만 리듬 규칙성이 다른 플랫폼을 구분할 수 있었으며, Matrix는 판독값을 공통된 조직적 또는 절차적 제약을 가리키는 아키타입으로 요약해 주었습니다.