저는 개발에 Codex를 광범위하게 사용하고 있으며, 현재 월 $100 플랜을 이용 중입니다. 지속적으로 사용 한도에 부딪히지 않으면서 더 저렴한 AI 코딩 환경이 비슷한 결과를 제공할 수 있는지 알아보고 싶었습니다. 단순히 코딩 연습 문제로 비교하기보다는, 기존의 사내 애플리케이션에서 세 가지 에이전트를 동일하고 상당한 작업에 투입했습니다. 그 결과는 특히 토큰 소비량과 각 에이전트 자체 테스트를 통과하지 못한 버그들의 차이점에서 저를 놀라게 했습니다.
설정: 프로젝트는 Prisma와 PostgreSQL을 사용하는 실제적이고 상당히 큰 TypeScript/Next.js/Node.js 애플리케이션입니다. 저는 세 가지 에이전트를 사용했습니다: Codex: GPT-6.1 Sol, 높은 추론 능력(High reasoning). Google Antigravity: Gemini 4 Argon, 높은 추론 능력(High reasoning). Meta Muse Code: Muse Wonder Full 1.0, 높은 추론 능력(High reasoning). 각 에이전트는 동일한 상세 개발 브리프를 받았고, 정확히 같은 Git 커밋에서 시작했으며, Windows 환경의 별도 Git 작업 트리(worktree)에서 작업을 수행했습니다.
과제: 과제는 백엔드 API, 권한 부여된 학생 접근, 기존 교육 계획 통합, 정확한 레슨 버전 선택, 배포된 과제 확인, 반응형 UI 및 합성 테스트를 포함하는 교직원 전용 수학 교수 준비 대시보드를 구축하는 것이었습니다. 이 기능은 확정된 개발 백로그에서 가져온 것이 아니라 특별히 이번 실험을 위해 선정되었습니다. 비록 부분적으로 이미 개발 중인 기능과 겹치기는 했지만, 현실적인 풀스택 작업을 대표했습니다.
에이전트들은 프로덕션 데이터 접근, 서로의 구현 복사, 병합 또는 배포가 금지되었습니다.
수치:
| 지표 | Codex | Muse Code | Antigravity |
|---|
| 월간 플랜 사용량 | US$100 | US$50 | CAD$26.99 |
| 실시간 경과 시간 (Wall-clock time) | ~28분* | 2시간 00분 | 3시간 19분 |
| 기록된 총 토큰 (Recorded total tokens) | 24.76M | 28.11M | 50.85M |
| 출력 토큰 (Output tokens) | 77,427 | 156,761 | 234,084 |
| 수동 승인 (Manual approvals) | 0 | 68 | 여러 번 테스트 보고됨 (Several Tests reported passing) |
| 실 PostgreSQL 테스트 (Real PostgreSQL tests) | 248 | 105 | 36 |
Codex의 경과 시간은 최종 응답 직전에 기록되었습니다.
Antigravity는 약 48분의 활성 실행 시간을 보고했으며, 나머지 시간은 중단 및 대기 시간이 포함되었습니다. 중요: 테스트 통과 횟수는 기존의 회귀(regression) 스위트를 포함하여 다양한 테스트 컬렉션을 다룹니다. 이는 표준화된 점수가 아니며, 248개의 테스트가 자동으로 36개 테스트보다 더 나은 코드를 의미한다는 증거도 아닙니다. 세 가지 모두 작동하는 로컬 구현체를 생성했으며 반응형 브라우저 검증을 보고했습니다.
-
토큰 소비량(Token consumption)은 극적으로 달랐습니다. Antigravity는 Codex의 총 토큰 활동량 대비 약 2.05배를 기록했으며, 출력 토큰(output tokens)에 대해서는 약 3배를 기록했습니다. Muse는 이 둘 사이인, Codex가 기록한 총 토큰의 약 1.14배 수준이었습니다.
캐싱 수치(caching figures)는 흥미로웠습니다: Codex: 24.17M 개의 캐시된 입력 토큰(cached input tokens). Muse: 27.18M 개의 캐시된 입력 토큰. Antigravity: 48.13M 개의 캐시된 입력 토큰. Antigravity는 또한 2.48M 개의 비캐시된 입력 토큰(non-cached input tokens)을 보고했습니다. 저는 표시된 총합에 캐시된 입력을 포함하도록 정규화했지만, 이 제공업체들이 토큰을 반드시 동일하게 계산하는 것은 아닙니다. 더 많은 토큰이 자동으로 비례적으로 높은 청구 또는 할당량 사용을 의미하지는 않습니다.
또한, Antigravity는 추가적인 검색 및 필터링 기능을 갖춘 훨씬 더 큰 구현체를 생성했습니다. 토큰 차이를 모델의 비효율성만으로 완전히 돌릴 수는 없습니다. 그럼에도 불구하고, 저는 이러한 비교에서 토큰 소비량이 훨씬 더 많은 관심을 받을 자격이 있다고 생각합니다.
-
구독 할당량(Subscription quotas)이 중요하며—플랜 가격도 동등하지 않았습니다. 저는 새로운 Google AI Pro 할당량으로 시작했습니다. Antigravity가 끝날 무렵, 저의 주간 Gemini 4 Argon 할당량의 76%가 소모되었습니다. 이는 하나의 주요 개발 과제에 대한 것이었습니다. 하지만 이 비교에는 중요한 주의사항이 있습니다. 저는 US$100짜리 Codex 구독을 CAD$26.99짜리 Google 구독과 비교했습니다. Google은 더 비싼 Ultra 티어에서 Antigravity의 더 높은 할당량을 제공합니다. 만약 5배의 할당량이 비례적으로 조정된다면, 동일한 벤치마크는 그 더 큰 주간 할당량 중 76%가 아닌 약 15.2%를 소비할 것입니다.
Ultra는 테스트하지 않았으므로 이는 단지 수학적 투영일 뿐입니다. Codex의 표시된 계정 전체 주간 할당량(account-wide weekly quota)은 세션 동안 51%에서 52%로 변동했지만, 이것이 정확히 작업에 귀속 가능한 소비량을 확립하지는 못합니다. 또한 신뢰할 수 있는 Muse 전후 할당량 측정치가 없었습니다. 따라서, 저는 동등한 구독 가격 대비 달러당 가장 많은 완료된 작업을 제공하는 공급자가 어느 곳인지 책임감 있게 주장할 수 없습니다.
-
Muse의 Windows sandbox는 주요 문제였습니다. Muse는 상당한 작동 구현체를 만들었지만, 실행 경험은 매우 좌절스러웠습니다. 이 Windows sandbox는 반복적으로 ACL publication lock timeout을 만났고, 평소에는 자동으로 실행되어야 할 명령들을 수동 승인(manual approval)으로 강제했습니다. 저는 단일 작업 동안 68건의 수동 승인 요청을 계산했습니다. 실행은 약 두 시간이 걸렸으며, 상당 부분의 시간은 승인 결정을 기다리는 데 사용되었습니다. 이것은 Muse 모델이 추론 능력이 떨어진다는 증거라기보다는 환경/자율성(environment/autonomy) 문제입니다. 그 수준의 개입 때문에 의도한 워크플로우에 비실용적이었기 때문에 기술 지원 및 환불 요청을 제출했습니다. 결과는 아직 보류 중입니다. Muse는 또한 PostgreSQL 통합 테스트를 시도했지만, 역사적 마이그레이션 종속성(historical migration dependencies) 때문에 데이터베이스 설정에 실패했습니다. 성공적으로 채워진-PostgreSQL 통합 실행이 아니라, 단위 테스트(unit test)와 프론트엔드 테스트(frontend test)만 완료했습니다.
-
세 모델 모두 자체 테스트는 통과했지만—독립적인 코드 검사에서 문제가 발견되었습니다. 완료 후, 저는 위생 처리된 구현체 전용 브랜치(sanitized implementation-only branches)를 비공개로 게시하고 코드를 검사하기 위해 별도의 ChatGPT 리뷰를 사용했습니다. 이 리뷰는 세 가지 코딩 실행과 독립적이었지만, 블라인드 인간 감사(blind human audit)가 아니었고, 제가 모든 테스트를 독자적으로 재실행하지는 않았습니다. 이는 생산 인증(production certification)이 아니라 소스 레벨 검토(source-level review)로 간주되어야 합니다. 가장 흥미로운 발견 사항은 다음과 같습니다.
Codex Codex는 가장 작은 구현체를 생성했으며, 새로운 백엔드 로직은 약 236줄, 주요 프론트엔드 컴포넌트는 99줄이었습니다.
이 코드는 학습 프로필 레코드(learning-profile records)를 수정할 수 있는 기존 헬퍼 함수(helper)를 호출하는 대신 별도의 읽기 전용 명단 조회(read-only roster query)를 생성하는 중요한 실수를 피했습니다. 또한, 새로운 숙련도 평가 엔진(mastery-evaluation engine)을 구현하는 대신 이미 구축된 학술 및 콘텐츠 분류 서비스(academic and content-classification services)를 재사용했습니다. 하지만 이 쿼리는 제출된 과제 상태(submitted assignment state)를 누락했는데, 실제로 제출된 과제는 이전에 공개되었고 검토를 기다리고 있었습니다.
또한, 일부 적격성 검사(eligibility checks)가 페이지네이션(pagination) 이후에 발생하기 때문에 데이터베이스 페이지네이션은 부분적으로 채워지거나 비어 있는 페이지를 생성할 수 있습니다. Codex의 새 엔드포인트(endpoint)는 이 문제를 피했지만, 기존 주변 대시보드(dashboard)는 여전히 잠재적인 부작용(side effects)을 가진 오래된 명단 엔드포인트(roster endpoint)를 사용하고 있습니다.
Muse Code의 Muse 역시 기존 학술 추천 시스템(academic recommendation system)을 재사용했는데, 이는 긍정적인 설계 선택이었습니다. 하지만 이 가짜 읽기 전용 GET 엔드포인트는 학술 학습 프로필 레코드(academic learning-profile records)를 생성하거나 업데이트할 수 있는 명단 헬퍼 함수를 호출했습니다. 또한, 공개된 과제 조회(released-assignment query)를 500개 레코드로 제한했는데, 이로 인해 관련성이 높은 오래된 과제가 그 한계를 벗어날 경우 잠재적인 거짓 음성(false-negative) 시나리오가 발생합니다.
내부 검토자들은 여러 문제를 발견하고 수정했지만, 이러한 문제점들이 남아있었습니다. Google Antigravity는 검색, 준비 상태 필터링(preparation-state filtering), 요약 카드(summary cards), 상세 과제 구분 등을 포함하는 기능이 풍부한 대시보드(dashboard)를 제공했습니다. 이 코드는 네 개의 일회성 PostgreSQL 통합 테스트(disposable PostgreSQL integration tests)를 성공적으로 실행했습니다. 하지만 Muse와 마찬가지로 간접 쓰기 문제(indirect-write problem)를 가지고 있었습니다. 더 우려되는 점은, 특정 누락된 커리큘럼 또는 스킬 레코드(Skill records)가 알 수 없는 상태(unknown state) 대신 학술적으로 준비된 분류(academically ready classification) 결과를 초래할 수 있다는 것입니다.
또한 페이지네이션을 적용하기 전에 전체 승인된 학생 명단(authorised student roster)에 걸쳐 준비 세부 정보(preparation details)를 처리했습니다. 이는 학생 수가 증가함에 따라 비용이 많이 들 수 있습니다. 이 코드는 주 백엔드 구현(primary backend implementation)이 약 1,300줄로, Codex의 236줄 및 Muse의 421줄과 비교되었습니다.
코드가 많다고 해서 자동으로 나쁜 것은 아니지만, 불필요한 복잡성은 검토하고 유지해야 할 논리 양을 증가시킵니다.
- 제가 배운 것 가장 큰 교훈은 하나의 모델이 보편적으로 더 좋다는 것이 아니었습니다. 모든 테스트가 통과했다고 보고하는 AI 코딩 에이전트만으로는 충분하지 않다는 것입니다. 가장 중요했던 차이점들은 다음과 같았습니다:
- 에이전트가 기존 권한(authority)을 올바르게 재사용했는지, 아니면 의도치 않게 중복했는지 여부.
- 겉보기에는 읽기 전용인 엔드포인트(endpoint)에 숨겨진 쓰기 측면 효과(write side effects)가 있었는지 여부.
- 학술 정보 누락 시 안전하게 실패하는지 여부.
- 에이전트가 지속적인 권한 요청 프롬프트 없이 자율적으로 작동할 수 있는지 여부.
- 토큰 및 할당량 소비가 워크플로우를 지속 가능하게 만드는지 여부.
- 구현체가 이해하고 유지하기에 충분히 작게 남아있는지 여부.
저의 특정 Windows 설정 및 애플리케이션에 한해서는 Codex가 전반적으로 가장 강력한 성능을 보였으며, 특히 자율성(autonomy), 속도, 아키텍처 규율 면에서 두드러졌습니다. Antigravity는 진정한 역량을 보여주었으며, 초기 구독 가격이 시사했던 것보다 더 경쟁력이 있었습니다. 명확한 비용 비교를 하기 전에 동등한 구독 용량으로 평가하고 싶습니다. Muse는 코드 생성에서 가능성을 보였지만, Windows 샌드박스 문제가 경험을 크게 저해했습니다.
한계점
이것은 하나의 작업, 각 에이전트당 한 번의 실행, 단일 사설 코드베이스에 대한 것이었습니다. 이는 표준화된 다중 작업 벤치마크가 아니었습니다. 구현 범위가 어느 정도 달랐고, 구독 가격도 동등하지 않았으며, 플랫폼별로 사용량 보고 방식이 달랐습니다. 검토는 소스 레벨(source-level)이었고 블라인드 테스트가 아니었습니다. 세 가지 구현체 중 어느 것도 프로덕션에 병합되지 않았습니다. 저는 이 결과를 보편적인 순위로 확대 해석하지 않을 것입니다.
다른 개발자분들께 질문
이 세 가지 환경(또는 유사한 환경)을 실제 토큰 사용량, 주간 할당량 소비, 독립적인 코드 검토 및 인간 개입 횟수를 사용하여 비교해 본 분이 계신가요?
저는 다른 사람들이 Muse의 Windows 샌드박스 문제(sandbox problems)를 경험했는지, 그리고 Antigravity의 할당량(quota)이 더 비싼 Ultra 플랜에서 어떻게 작동하는지에 특히 관심이 있습니다. 저는 일반적인 '어떤 모델이 더 똑똑하게 느껴지는가'와 같은 논의를 넘어서는 다양한 경험들을 비교해 보고 싶습니다. submitted by /u/PuzzleheadedFuture73 [link] [comments]