Fable에서 1월부터 진행한 LLM을 이용한 자동화 성과를 정리해 주었습니다. 꽤 흥미로운 내용이라 기사로 작성해 보았습니다. 그럼 시작합니다.

Unity 모바일 게임의 클라이언트 엔지니어로서, 지난 1년간의 AI 코딩 에이전트(Claude Code / codex 등) 이용 로그를 정리해 보았습니다. 수중에 남아 있던 세션 로그 약 3,100건과 git·GitHub·Linear의 1년 치 이력을 바탕으로 「무엇을 했고, 무엇이 어떻게 빨라졌는지」를 재구성한 기록입니다.

결론부터 말하자면, 지난 1년은 「AI에게 작업을 부탁하는 것」에서 「AI가 돌아가는 공장을 만드는 것」으로의 이행이었습니다. 머지(Merge)되는 PR은 월 10건에서 90건으로 약 9배 증가했고, issue의 체류 시간은 수십 일에서 4일로 단축되었습니다. 이 기사에서는 그 과정에서 일어난 일들을 수치와 함께 되돌아봅니다.

집계 방법에 대하여

먼저 전제를 적어둡니다.

• 세션 로그가 현존하는 것은 최근 3개월분(codex 2,965건 + Claude Code 169건)이며, 그 이전의 AI 이용은 커밋의 Co-Authored-By 트레이러와 git / GitHub / Linear의 이력을 통해 복원했습니다.
• 본인의 다수 명의(개인 계정·bot·자동화 명의)는 모두 「본인의 활동」으로 합산했습니다. 단, PR 수 집계는 개인 계정 명의만을 대상으로 하여 bot 명의의 PR을 포함하지 않은 보수적인 숫자입니다.
• PR 수·커밋 수는 공수(Man-hour)의 대리 지표입니다. AI 도입 후에는 PR의 입도(Granularity)가 세밀해지는 경향이 있으므로, 건수 비율이 곧바로 생산성 비율은 아닙니다. 다만 후술하는 바와 같이, issue 완료 수·체류 시간이라는 성과 측면의 지표도 같은 방향으로 움직이고 있습니다.

아웃풋의 추이 — 도입과 동시에 차원이 달라지다

먼저 머지된 PR의 월별 추이입니다.

月次マージPR数の推移。2026年1月に前月の2件から45件へ跳ね、2026年7月には90件に達している

AI의 흔적(Co-Authored-By: Claude)이 커밋에 나타나는 것은 2026년 1월부터이며, 그 달에 PR은 전월 2건에서 45건으로 급증했고, 이후 단 한 번도 이전 수준으로 돌아가지 않았습니다. 같은 리포지토리에서 일하는 동료의 추이(주황색 참조 계열)가 거의 평이하므로, 이 변화는 프로젝트의 업무량 증가가 아닌 일하는 방식의 변화에 의한 것임을 구분할 수 있습니다.

issue 관리 측면(Linear)에서도 동일한 형태가 나타납니다. 담당 issue의 완료 수는 2025년 하반기 월 214건이었던 것에 비해, 최근 3개월은 월 6776건입니다. 더욱 효과를 본 것은 체류 시간으로, issue가 생성된 후 완료될 때까지의 중앙값은 2025년 18167일(월별로 편차가 커서 밀리기 쉬움)에서 최근 3개월은 **46일**로 수렴했습니다. 「버그는 등록되면 그 주 안에 수정되어 머지된다」가 상시 상태가 되었습니다.

2026년 1~7월에 머지된 PR의 타이틀을 계산하면, 총 340건의 issue에 대응하는 수정·구현이 메인 스트림에 반영되었습니다.

무엇을 해왔는가 — 4가지 페이즈

로그를 시계열로 읽어보면, 이행은 4단계로 나뉘어 있었습니다.

~2025년 말: 수작업기

PR은 월 2~22건, 커밋은 월 십수 건. 구현·빌드·배포·conflict 해결·진척 집계를 모두 수동으로 수행하던 시기입니다. PR은 즉시 셀프 머지 운용(생성→머지 중앙값 0.1시간)이었으며, 리뷰 게이트는 실질적으로 없었습니다.

2026년 1월~4월: Claude Code 도입 — 이인삼각기

1월부터 커밋에 Co-Authored-By: Claude가 등장하며 PR이 월 45건으로 증가했습니다. 3월에는 bot 계정이나 AI용 GitHub Actions(AI PR 생성·자동 조사·자동 monkey 테스트)가 갖춰지기 시작합니다. 아직은 「사람이 AI와 병행하며 한 건씩 처리하는」 단계입니다.

2026년 5월~6월: codex 도입과 체계화

codex 이용을 개시했습니다. 초기에는 「PR #1324를 pull해서 Unity Editor를 열어줘」, 「urgent issue를 3개 병렬로 전부 구현해줘」와 같은 장문 지시를 복사해서 붙여넣는 운용이었으나, 반복되는 절차를 스킬(재사용 가능한 절차서. 머지, PR 생성, 테스트 배포 등 총 29개)로 분리해 나갔습니다. 5월 하순에는 첫 번째 상주 자동화인 「동작 확인 OK 자동 머지」가 가동되었습니다. 일보·메일 정리·QA 소감 시트 전기도 정기 실행화되었습니다.

2026년 7월: 분업의 확립과 무인 운전

상순에 역할 분담을 명문화했습니다. Claude가 조사·설계·리뷰를 담당하고, 구현은 codex (GPT-5.6) / devin / cursor로 위임하는 체제입니다. AI가 실제로 게임을 플레이하여 수정을 검증하는 「구현 플릿 (Implementation Fleet)」, 적대적 리뷰를 수행하는 CI, Rust로 제작된 상주 빌더를 구축했습니다. 월말에는 인간의 지시가 「ISSUE-2305 이거 대응해줘. PR 생성하고 『빌드 생성 예약』 태그 달아줘」라는 1~2줄로 압축되었으며, 인간의 발화가 전혀 없는 상태에서 발화되는 세션 (빌드 실패 요약·자동 수정)이 로그에 나타나기 시작했습니다.

세션의 도입부 프롬프트를 시계열로 나열하면 이러한 변화를 잘 알 수 있습니다.

2026-05-22 (수작업기의 전형)
「PR #1324 이거 pull 해서 Unity Editor 열어줘」— 환경 준비조차 하나씩 구두로 의뢰하던 시기

2026-07-28 (같은 종류의 업무의 현재형)
「ISSUE-2305 이거 대응해줘. PR 생성하고 『빌드 생성 예약』 태그 달아줘」— 구현부터 테스트 배포 빌드까지 이 한 줄로 완료

2026-07-27 (인간의 발화 제로)
「Unity Android의 자동 빌드가 실패했습니다. 다음 로그 발췌본에서 실패 원인을 요약해 주세요」— 자체 제작한 상주 빌더가 기계적으로 발행한 프롬프트

만든 공장 — 개발 사이클의 각 단계가 자동화되다

최근 3개월간의 codex 세션 2,395건 중, 약 7할(1,822건)은 정기 실행 자동화였으며, 사람이 기점이 된 세션은 나머지 3할이었습니다. 게다가 그 두 가지 모두 매달 늘어나고 있습니다. 자동화가 사람의 의뢰를 대체한 것이 아니라, 사람의 지시 1건당 사정거리가 늘어난 데다, 배후에서 공장이 돌아가고 있는 구도입니다.

codexセッションの月次内訳。定期自動化と人が起点のセッションの両方が毎月増え、7月は合計1399件

공정별 비포 애프터(Before/After)는 다음과 같습니다.

상주 AI의 가동은 최근 3개월간 1,611회·총 411시간입니다. 이 공장은 밤에도 돌아갑니다. 커밋(Commit) 시각 분포를 보면, develop 머지(Merge)와 이른 아침 빌드가 실행되는 새벽 4시대에 139건의 피크가 있으며, 2025년에는 거의 존재하지 않았던 시간대가 가동되고 있습니다.

コミットの時刻分布。朝4時台に139件のピークがある

속도만큼이나 효과적이었던 것 — AI를 의심하는 메커니즘

돌이켜보았을 때 중요했던 것은, 속도에 대한 투자와 동시에 AI를 너무 신뢰하지 않기 위한 메커니즘을 만들었다는 점입니다.

• AI의 태만 검증(소스를 grep하여 「고쳐진 것 같다」라고 보고하는 유형)을 게이트(Gate)에서 기계적으로 걸러내는 검증 하네스(Test Harness). 구현 플릿에는 「AI가 실제로 게임을 플레이하여 확인한다」는 공정을 넣었습니다. 이 공정에서는 검증했다고 자기 신고하게 하는 것이 아니라, 검증의 증거(스크린샷·테스트 결과)를 기계 측에서 확인합니다.
• 리뷰 CI에 대한 프롬프트 인젝션(Prompt Injection) 대책. PR 본문이나 diff 중의 지시문으로 리뷰 AI가 탈취되지 않도록, 입력값의 새니타이징(Sanitizing)과 권한 분리를 설계했습니다.
• 2025년의 「PR 생성 → 머지 0.1시간」은 사실 리뷰 없는 즉시 셀프 머지의 반영이었으며, 현재의 6~23시간은 리뷰·빌드 확인 게이트를 거친 결과입니다. 이 지표만 보면 「느려졌다」고 볼 수 있지만, 실태는 프로세스 품질의 향상이지 악화가 아닙니다. 지표는 문맥을 포함하여 읽어야 합니다.

요약

• 아웃풋은 PR 기준 약 9배, issue 완료 기준 약 15배. issue 체류 중앙값은 수십 일에서 4일로 단축.
• 변화는 단순히 「AI에 의존하는 것」만으로는 일어나지 않으며, 반복 작업을 스킬화 → 정기 자동화 → 상주 시스템화로 단계적으로 공장을 만들었기에 발생함.
• 최근 세션의 7할이 자동 실행됨. 인간의 역할은 「1건을 수행하는 것」에서 「메커니즘을 설계하고 예외에 대응하는 것」으로 이동.
• 속도와 동시에, AI의 검증을 의심하는 게이트와 리뷰 CI를 정비함. 이 부분을 생략하면 빨라진 만큼 망가진 것이 메인 스트림(Mainstream)에 유입됨.

다음 과제는 이 공장을 특정 개인에게 종속되지 않게(속인화 방지) 만드는 것입니다. 자동화 등록 및 가시화를 누구나 할 수 있도록 하는 메커니즘에 착수하고 있으며, 「본인이 쉬면 멈추는」 상태로부터의 탈피가 향후의 테마입니다.

Discussion