@Alibaba_Qwen - ChatGPT Pro, Codex, Claude, 그리고 Qwen을 사용하여 25개 파일, 73개 리뷰 스레드, 최소 6회의 수정 사이클(remediation cycles)을 거친 PR(Pull Request)을 방금 머지했습니다.

Codex가 제 Pro 계정의 주간 사용량 중 74%를 소모했습니다.

Codex가 진정으로 잘한 점: 리뷰입니다. 자동화된 Codex 리뷰는 이 모든 과정에서 단연코 가장 가치 있는 요소였습니다.

Codex가 진정으로 못했던 점: GitHub를 건드려야 하는 모든 작업입니다. Codex 클라우드 샌드박스(sandbox)는 https://t.co/anVbFwZxON 로의 네트워크 외부 송출(egress)이 불가능합니다. @OpenAI @thsottiaux

모든 git push는 CONNECT 터널 실패와 403 응답을 반환했습니다. 모든 git ls-remote 또한 403 오류가 발생했습니다. 이는 이 도구가 설계된 목적 자체인 자율 루프(autonomous loop), 즉 수정(edit), 커밋(commit), 푸시(push), CI 모니터링(watch CI), 반복(iterate) 과정이 첫 작업부터 완전히 망가져 있었음을 의미합니다.

이로 인해 이 사건의 가장 황당한 부분인 '전송 댄스(transport dance)'가 발생했습니다. 샌드박스에서 푸시를 할 수 없었기 때문에, 저는 Codex 작업들을 연쇄적으로 사용하여 파일 내용을 base64로 인코딩된 gzip 아카이브로 만들어 PR 댓글을 통해 전달했습니다. 이 아카이브는 4개로 분할되었고, SHA-256 체크섬(checksum)을 포함하여 임시로 닫힌 PR을 통해 라우팅되었습니다.

Codex가 아카이브를 생성하면 제가 이를 다시 입력(re-ingest)하는 과정을 양방향으로 여러 차례 반복했습니다. 결과는 어땠을까요? 전송된 데이터는 0바이트였습니다. 세 가지 서로 다른 '검증된' 커밋 SHA 등이 나타나는 식이었죠.

토큰 경제학(token economics)은 잔혹합니다. 단 하나의 PR을 위해 Pro 계정의 주간 사용량 74%를 써버렸습니다. 게다가 그중 상당 부분은 중복 작업이었습니다. ChatGPT Pro는 Codex 리뷰가 스레드에 이미 그대로 나열해 놓은 결과들을 다시 도출하기 위해 읽기 전용 '감사(audit)' 하위 에이전트(subagents)를 생성했고, 그 사이 GitHub Actions는 이미 필수 체크 항목으로서 타입 체크(typecheck)/jest의 진위 여부를 계산해 두었습니다. 세 개의 측정기(meters)가 동일한 정보를 다루고 있었지만, 그중 어느 것도 무료가 아니었습니다. 설상가상으로, 도구가 계속 거짓 정보를 제공했기 때문에 이를 잡아내기 위해 전체 컨텍스트(context)가 필요했고, 그 결과 ChatGPT의 매 턴마다 수만 개의 토큰에 달하는—이미 대체된 Codex의 출력물들—PR 대화 기록 전체를 다시 입력(re-ingest)해야 했습니다.

AI 에이전트를 사용하여 중요도가 높은 PR(Pull Request)을 진행하는 모든 사람들을 위한 시사점:

리뷰 기능이 핵심 애플리케이션입니다.
오탐지(False reporting)는 실패보다 더 나쁩니다. 원격 저장소에 존재하지 않는 커밋에 대해 가짜 성공(SUCCESS) 보고를 하는 것보다,