짧은 답변: "Pull Request (PR)가 24% 더 많이 병합되었다"는 수치는 실제이지만, 이는 수익 보고서가 아닌 대리 지표(proxy)입니다. The Diffusion of Coding Agents at Microsoft (arXiv, 2026년 7월 1일) 프리프린트에 따르면, 코드 에이전트의 활성 사용자들은 비교 대상인 대조군(counterfactual group)보다 약 24% 더 많은 PR을 병합했으며, 이 효과는 관찰된 4개월의 기간 동안 유지되었습니다. 저자들은 병합된 Pull Request (merged pull requests)가 코드의 품질, 수익 또는 고객 가치를 직접적으로 측정하지는 않는다고 스스로 경고합니다.

만약 당신이 비즈니스를 위한 AI가 파일럿 단계에서 팀의 일상적인 업무로 어떻게 실제로 전환되는지를 책임지고 있다면, 이 글은 두 가지 서로 다른 질문에 관한 것입니다. 첫째: 에이전트가 대기업 내부의 엔지니어들에게 어떻게 확산되는가. 둘째: 왜 PR 수의 증가를 경영진 보고서에 "생산성이 향상되었다"라는 문구로 조용히 바꿔 쓸 수 없는가.

2026년 7월 1일에 정확히 무슨 일이 일어났는가

핵심: 이것은 설문조사나 마케팅 사례가 아니라, 한 대기업 내부 수만 명의 엔지니어들의 행동을 분석한 결과입니다.

프리프린트(arXiv, 2026년 7월 1일) 데이터에 따르면, Microsoft 연구진은 코드 에이전트가 수만 명의 자사 엔지니어들 사이에서 어떻게 확산되고 유지되는지를 연구했습니다. 2026년 7월 2일 TechRepublic에 발표된 2차 분석에서도 동일한 주요 수치들을 반복하고 있습니다.

저자들이 지속적이라고 판단한 세 가지 관찰 결과는 다음과 같습니다:

• 첫 번째 사용은 업무적 사회적 관계와 팀을 통해 눈에 띄게 확산되었습니다. 즉, 사람이 에이전트를 처음 실행하는 이유는 상부에서 내려온 공지 때문이 아니라, 주변 동료가 이미 사용하고 있었기 때문인 경우가 더 많았습니다.
• 첫 경험 이후의 유지율은 인구통계학적 특성보다 코드 작업의 성격과 더 강한 상관관계를 보였습니다. 간단히 말해, 사람이 도구를 계속 사용할지 여부는 경력이나 직책보다는 어떤 코드를 작성하느냐에 따라 더 잘 설명됩니다.
• 활성 사용자들은 비교 대상인 대조군보다 약 24% 더 많은 Pull Request (PR)를 병합했으며, 이 격차는 4개월 동안 유지되었습니다.

이후 본문에서 저는 세 가지를 구분하여 다룹니다: 저자들이 주장하는 내용, 독립적인 재해석이 보여주는 내용, 그리고 여러분의 팀을 위한 저의 해석이 시작되는 지점입니다.

참고로, 만약 여러분이 도입을 위한 자체적인 미니 실험을 구성 중이며, 동일한 작업을 서로 다른 모델들이 어떻게 해결하는지 비교하고 싶다면, 모든 모델 제품군을 한 창에서 유지하는 것이 개별 계정을 번갈아 사용하는 것보다 시간 측면에서 훨씬 저렴합니다.

왜 "24% 더 많은 PR"이 "24% 더 많은 효용"을 의미하지 않는가

핵심: 병합된 PR(Pull Request)의 수는 생산성의 프록시(Proxy, 대리 지표)이며, 저자들도 이 점을 분명히 강조하고 있습니다.

Pull Request는 계산하기 쉬운 작업 단위입니다. 바로 이 때문에 지표로 채택되는 것을 선호합니다. 하지만 프록시 지표에는 대가가 따릅니다.

병합된 PR이 반영하지 못하는 것들:

• 코드 품질. PR은 분기 후에 드러날 기술 부채 (Technical Debt)를 병합할 수도 있습니다.
• 이익 및 매출. 더 많은 코드가 병합되었다고 해서 더 많은 돈을 의미하지는 않습니다.
• 고객 가치. PR의 일부는 사용자에게 아무런 변화를 주지 않는 내부적인 루틴 작업입니다.
• 변경 규모. 10개의 작은 PR과 1개의 큰 PR은 다르게 계산되며, 그 가치 또한 다릅니다.

두 번째 함정도 있습니다. 상관관계 (Correlation)와 인과관계 (Causality)를 혼동해서는 안 된다는 점입니다. 대조군 (Counterfactual group)은 리스크를 줄여주지만, "활성 사용자"는 이미 자기 선택 편향 (Self-selection)이 포함된 결과입니다. 스스로 에이전트를 찾아내어 4개월 동안 사용한 사람은 에이전트가 없었더라도 평균보다 생산적이었을 가능성이 높습니다. 이 24% 중 일부는 도구의 효과이고, 일부는 특정 작업에 특정 사람들이 도구를 사용하는 효과입니다. 프리프린트 (Preprint)는 조심스럽게 반사실적 평가 (Counterfactual estimation)를 구축하고 있지만, 관찰 데이터 (Observational data)만으로는 이 두 가지 기여도를 완전히 분리할 수 없습니다.

도입을 위한 실무적 결론: PR 숫자를 가치 창출의 증거가 아닌, 확산의 신호로 받아들이십시오. 가치를 증명하기 위해서는 아래에서 다시 다룰 별도의 지표가 필요합니다.

확산(Diffusion)에 대한 결론을 팀에 적용하는 방법

핵심: 만약 확산이 사회적 관계를 통해 일어난다면, 명령으로 도구를 강요하는 것은 최악의 전략입니다.

사회적 관계에 대한 관찰로부터 실질적인 도입 메커니즘을 도출할 수 있습니다. 아래는 구호가 아닌 실행 가능한 단계입니다.

1. 팀 내에서 에이전트가 도움이 될 만한 성격의 코드를 작성하는 사람들을 찾으십시오: 반복적인 수정, 테스트, 마이그레이션, 템플릿 코드 등이 많은 사람입니다. 이들이 논리적으로 프리프린트(preprint)의 원리에 따라 도구를 유지할 가능성이 가장 높습니다.
2. 도구를 모두에게 한꺼번에 주는 대신, 먼저 그들에게 제공하십시오. 실제로 에이전트와 함께 남을 3~5명의 인원을 선정하십시오.
3. 그들의 작업 내용을 가시화하십시오. "우리는 AI를 도입했다"라는 보고서가 아니라, 에이전트가 시간을 절약했음을 보여주는 구체적인 PR (Pull Request)을 보여주어야 합니다.
4. 첫 번째 실행을 성공으로 간주하지 마십시오. 한 달 뒤에도 유지되고 있는지를 성공으로 간주하십시오. Microsoft의 데이터에 따르면 첫 사용은 쉽게 갈라지지만, 사람이 도구를 계속 사용하는지는 별개의 문제입니다.
5. 사전에 반사실적 기준(counterfactual baseline)을 측정하십시오. 파일럿 시작 전의 PR, 리뷰, 인시던트(incident) 수가 얼마나 되었는지 확인하십시오. 기준선(baseline)이 없다면 어떤 성장도 논란의 여지가 생길 것입니다.

"우리는 믿는 것이 아니라 측정할 준비가 되었다" 체크리스트:

• 파일럿 시작 전 기초 지표(baseline metrics)를 기록했다.
• PR 숫자 외에 가치를 나타내는 지표를 최소 하나 이상 선택했다 (예: 롤백 비율, 버그 수정까지 걸린 시간, 리뷰 후 재작업이 필요한 PR의 비율).
• 대조군(control group) 또는 대조 기간을 설정했다.
• "활성 사용자(active user)"는 단 한 번의 실행이 아니라 유지(retention)에 관한 것이라는 점에 합의했다.
• 어떤 수치에 도달했을 때 파일럿이 실패한 것으로 간주할지 미리 결정했다.

마지막 항목이 다른 항목보다 중요합니다. 실패 조건이 미리 합의되지 않은 파일럿은 언제나 "성공"하기 마련입니다.

모델을 비교하기 위해 에이전트를 기술적으로 연결하는 방법

핵심: 도입 실험을 위해서는 매번 통합 코드를 다시 작성하는 것이 아니라, 작업에 따라 모델을 빠르게 변경할 수 있는 방법이 필요합니다.

코드 에이전트(Code agents)와 LLM 주변의 거의 모든 자동화는 HTTP를 통해 모델에 접속합니다. 만약 통합 방식이 단일 SDK에 종속되어 있다면, 키(key)와 주소(address)만 변경함으로써 여러 모델 제품군(model families)을 호출할 수 있습니다.

provod.ai는 OpenAI 및 Anthropic SDK와 호환되는 단일 API를 제공합니다. 키와 base_url만 바꾸면 Claude, GPT, Gemini, DeepSeek 또는 Qwen을 한 곳에서 하나의 잔액으로 사용할 수 있습니다. 러시아 카드, SBP 또는 계좌 이체를 통해 VPN이나 해외 카드 없이 결제할 수 있습니다. 기업을 위한 계약, 청구서 및 증빙 서류가 제공됩니다. 이는 자동화 플랫폼이나 GigaChat을 대체하는 것이 아니라, 모델 제품군 간에 비교하거나 라우팅(routing)이 필요할 때 호환 가능한 API를 통해 해외 모델에 접근하는 방식입니다.

OpenAI SDK를 사용한 Python 예시입니다. 비밀 값(Secrets)은 플레이스홀더이므로 환경 변수로 추출하십시오.

import os
from openai import OpenAI

...

Anthropic SDK에서도 동일한 원리가 적용됩니다. 로직은 그대로 두고 클라이언트만 변경하면 됩니다:

import os
from anthropic import Anthropic

...

핵심은 "우리 코드에 대해 어떤 모델이 리뷰 후 재작업(rework)을 가장 적게 발생시키는가"를 측정하기 위해 다섯 가지의 서로 다른 통합 방식을 유지할 필요가 없다는 점입니다. 단 하나의 통합 방식을 유지하면서 model 문자열만 바꾸면 됩니다.

비용은 얼마나 들며, 작업에 맞는 모델을 어떻게 선택하는가

핵심: 도입 실험을 위한 비용은 토큰당 가격이 아니라, 재작업을 고려한 하나의 완료된 작업당 비용으로 계산해야 합니다.

Microsoft의 프리프린트(Preprint)에는 모델 가격이나 가격 책정(Pricing)에 대한 정보가 없습니다. 그곳에서 다루는 내용은 요금이 아니라 엔지니어들의 행동 양식에 관한 것입니다. 따라서 소스에 명시되지 않은 토큰당 구체적인 금액은 언급하지 않겠습니다. 대신 솔직하게 말할 수 있는 것은 선택 방법론입니다.

재작업 없이 한 번에 PR(Pull Request)을 생성하는 비싼 최상위 모델이, 세 번이나 다시 돌아가야 하는 저렴한 모델보다 종종 더 저렴할 수 있습니다. 다음과 같이 계산해 보세요:

작업_비용 = 생성_비용 + 재작업_비용 + 리뷰어_시간

결정 테이블은 어떤 유형의 작업에 어떤 모델 전략을 사용할지를 보여줍니다. 이는 특정 버전의 순위가 아니라 작업 유형에 따른 가이드라인입니다.

여기서 provod.ai의 단일 루블 계정을 사용하면 하나의 채팅창과 하나의 API를 통해 GPT, Claude, Gemini, DeepSeek, Qwen을 실행할 수 있으며, 비즈니스용 증빙 서류(계약서, 송장, 영수증)가 러시아 방식으로 처리되어 외화 카드나 우회 결제 수단 없이도 이용 가능하다는 점이 유용합니다. 자신의 작업에 맞는 모델을 비교할 때 이러한 점은 회계상의 번거로움을 덜어주지만, 가장 중요한 사실을 바꾸지는 않습니다. 즉, 가치를 측정하는 방법론은 여전히 스스로 구축해야 한다는 것입니다.

실패 지점: 도입 및 자동화의 전형적인 오류

핵심: 파일럿 프로젝트 실패의 대부분은 모델의 문제가 아니라, 측정 대상이 잘못되었거나 잘못된 방향으로 적용했기 때문입니다.

자주 발생하는 실패 모드를 살펴보겠습니다.

지표가 목표를 대체함. 팀이 경영진에게 보여주는 PR(Pull Request) 수치를 최적화하기 시작합니다. 통계를 위해 사소하고 미미한 수정 사항만 담은 PR이 생겨납니다. 이는 PR 수치와 함께 위 체크리스트에 있는 가치 지표를 항상 병행하여 측정함으로써 해결할 수 있습니다.

모두에게 한꺼번에 적용하는 파일럿. 도구가 명령에 의해 팀 전체에 배포됩니다. 데이터의 논리에 따르면 Microsoft의 유지율 (retention)은 업무의 성격에 따라 달라지므로, 전체 배포 방식에서는 초기 실행 횟수는 많지만 유지되는 비율은 낮게 나타납니다. 이는 단순히 초기 사용자 선택이 적절하지 않았을 뿐인데, 마치 "실패했다"는 인상을 줄 수 있습니다.

단일 벤더에 대한 강력한 종속. 통합 과정이 단일 SDK와 단일 가격 정책에 맞춰 작성됩니다. 한 달 뒤 더 저렴하거나 더 나은 모델이 출시되어도, 전환하는 데는 몇 주가 소요됩니다. base_url을 통한 전환이 가능한 호환 API는 이 비용을 낮춰주지만 완전히 제거하지는 못합니다. 프롬프트 (prompt)와 평가 (evaluation)를 여전히 다시 실행해야 하기 때문입니다.

인간이 개입하지 않는 자동화. 에이전트가 스스로 PR을 생성하고, 자동화 시스템이 테스트가 통과되면 스스로 머지 (merge)합니다. 테스트는 통과했지만 커버리지 (coverage)에 구멍이 뚫려 있을 수 있습니다. 한 분기 뒤에 회귀 (regression) 문제가 드러나게 됩니다. 위험도가 높은 경로에 대해서는 인간의 리뷰가 반드시 필수적으로 남아 있어야 합니다.

n8n 및 유사한 오케스트레이터 (orchestrator)에 대해 별도로 언급하자면, 이들은 트리거, LLM 호출, 결과 기록과 같은 파이프라인 (pipeline)을 구축하기 위해 작업과 모델 사이에 배치되는 경우가 많습니다. 여기서 경계를 이해하는 것이 중요합니다: provod.ai는 자동화 플랫폼을 대체하지 않습니다. 이는 HTTP 노드나 호환 가능한 엔드포인트 (endpoint)와 키를 삽입하는 노드처럼 "모델 호출" 단계를 처리합니다. 오케스트레이션 (orchestration), 재시도 (retry), 분기 (branching) 및 상태 저장 (state storage) 자체는 n8n의 역할로 남습니다. 파이프라인에서 무언가 실패한다면, 계층별로 진단하십시오:

1. 먼저 요청이 엔드포인트에 도달하는지 확인하십시오 (HTTP 노드 로그).
2. 그다음 응답 코드(authorization (key), 제한 사항, 바디 형식)를 확인하십시오.
3. 그다음 모델의 응답 자체를 확인하십시오: 비어 있지 않은지, 구조를 요청했다면 JSON이 유효한지 확인하십시오.
4. 마지막으로 오케스트레이터 자체의 분기 로직을 확인하십시오.

"모델이 고장 났다"고 말하는 사례의 절반은 실제로는 base_url의 오타이거나 잘못된 환경의 키를 사용한 경우입니다.