Codex를 활용한 놀라운 실험: 단 하나의 명령어로 앱 테스트와 버그 수정을 스스로 수행하다

어떤 분이 Codex를 사용해 정말 놀라운 일을 해냈습니다. 단 하나의 명령어를 입력했더니, AI가 앱 전체의 테스트와 버그 수정을 스스로 모두 처리했으며, 무려 4.5시간 동안 연속으로 실행되었습니다. 정말 큰 영감을 주는 사례입니다🤯

이전의 AI 코딩이 부조종사(Copilot) 역할이었다면,
사용자가 한 마디 하면 AI가 한 단락을 작성하고, 문제가 생기면 사용자가 직접 찾아 수정해야 했습니다.
하지만 이번 Codex의 /goal 기능은 커다란 도약을 이루었습니다. 사용자가 목표를 설정하면, AI가 스스로 전체 품질 폐쇄 루프(Quality Closed-loop)를 실행할 수 있습니다.

Tom Osman은 이 실험을 진행하며 단 하나의 명령만 내렸습니다. Codex가 앱의 모든 기능을 사용자 스토리(User Story)로 분해하고, 작성을 완료한 뒤 테스트와 수정을 거쳐 품질 기준에 도달할 때까지 수행하도록 한 것입니다.
그 결과, Codex는 코드베이스 전체를 스캔하여 183개의 사용자 스토리를 추출하고, 105개의 페이지 라우트(Page Route)와 67개의 API를 커버하여 모두 하나의 통합 표로 정리한 뒤, 테스트와 수정을 반복하며 4.5시간 동안 지속적으로 실행했습니다.

전체 프로세스는 6단계로 진행됩니다.
먼저 전체 기능을 스캔하고, 사용자 스토리와 예상 동작을 작성한 뒤, 테스트 케이스(Test Case)를 생성하여 실제로 테스트를 실행합니다. 문제를 발견하면 자동으로 수정하고, 수정 후에는 회귀 테스트(Regression Test)를 수행하며, 누락된 기능이 있으면 다시 보완하여 루프를 계속 돌립니다.
전 과정은 하나의 표를 통해 상태를 유지하므로, 경로를 이탈하거나 기억을 잃지 않습니다.

이것은 단순히 코드를 자동으로 작성하는 또 하나의 도구가 아닙니다. AI가 코딩을 보조하는 단계에서 AI가 품질을 자율적으로 책임지는 단계로의 질적 변화입니다.

과거에는 QA 한 명과 개발자 한 명이 며칠 동안 해야 했던 작업을, 이제 AI는 몇 시간 만에 기초 버전을 한 차례 돌려낼 수 있습니다.

1인 기업이나 소규모 팀에게는 지치지 않는 테스트 및 수리공이 공짜로 생긴 것과 같습니다.

물론 명확한 한계도 있습니다. 예를 들어 기존 코드에 맞춰 테스트만 수행하기 때문에, 제품 설계 자체가 잘못되었다면 그 오류를 표준으로 삼아 고착화할 수 있으며, 환각(Hallucination) 현상이 포함된 테스트 결과가 나타날 수도 있습니다.

대규모 프로젝트에서는 비용과 시간이 폭발적으로 증가할 수 있으므로, 결국 우선순위와 사용자 경험(UX)은 사람이 최종적으로 검토해야 합니다.

하지만 중요한 신호는 매우 분명합니다. AI는 이미 문제 발견, 문제 기록, 문제 수정, 문제 검증으로 이어지는 완전한 루프를 독립적으로 수행할 수 있다는 점입니다.

미래의 경쟁력은 AI로 코드를 작성할 줄 아느냐가 아니라, 얼마나 고품질의 목표를 설계할 수 있는지, 구조화된 상태 관리(State Management)를 통해 AI를 제어할 수 있는지, 그리고 핵심적인 지점에서 인간이 얼마나 잘 검토할 수 있는지에 달려 있습니다.