코드 리뷰에 적용된 GPT-6 Astra: 장점, 개인 정보 보호 및 비용

CodeRabbit model evaluation of OpenAI GPT-6 Astra, with a white CodeRabbit wordmark and dark green grid: code review gains, privacy, and costs.

코드 리뷰에서 가장 어려운 작업 중 일부는 변경된 라인 외부에서 발생합니다. 어떤 변경 사항은 고립되어 보일 때는 올바르게 보이지만 시스템의 다른 곳에서 코드를 손상시킬 수 있습니다.

이것이 OpenAI의 GPT-6 Astra에 대한 초기 결과가 가장 흥미로운 이유입니다. 저희 평가에서 Astra는 실행 가능한 발견을 통해 GPT-5.6 Sol보다 약 4% 더 많은 레이블링된 버그를 포착했으며, Opus 5보다는 22% 더 많이 포착했습니다.

가장 큰 도약은 더 어려운 크로스 파일(cross-file) 리뷰에서 나타나며, 여기서 Astra의 개선점은 Sol 대비 20%, Opus 5 대비 **33%**에 달합니다. 이러한 기능을 고객 규모로 사용한다는 것은 또한 고객 데이터를 보호하고 모델의 공개 API 가격을 평가하는 것을 의미합니다.

코드 리뷰에 추가된 Astra 기능

여기서 저희가 측정한 지표는 실행 가능한 버그 커버리지(actionable bug coverage)입니다. 이는 모델이 개발자가 조치할 수 있는 발견을 통해 포착하는 레이블링된 버그의 수를 의미합니다.

전반적인 GPT-5.6 Sol 대비 개선점은 이 첫 번째 평가 지표에서는 미미해 보입니다. 이 평가는 강력한 모델이 차별화될 여지가 적을 수 있는 더 간단한 리뷰도 포함하고 있습니다. Astra의 더 큰 장점은 더 어려운 크로스 파일 하위 집합에서 나타납니다. 이는 초기적이고 방향성을 제시하는 결과입니다.

더 어려운 크로스 파일 비교는 더욱 고무적입니다. Astra의 상대적 우위는 Sol 대비 20%, Opus 5 대비 33%까지 증가합니다. 이는 변경 사항의 의도를 코드베이스 전반에 걸쳐 분포된 결과와 연결하는 데 가치가 있음을 시사합니다.

이러한 결과들은 리뷰 성능의 한 부분을 설명할 뿐입니다. 이것들이 전체적인 리뷰 품질 순위를 확립하거나, 팀의 결함률을 예측하거나, 모든 풀 리퀘스트(pull request)에서 동일한 개선점을 보장하는 것은 아닙니다.

맥락에 작업을 적용하기

큰 컨텍스트 윈도우는 정보가 들어갈 공간을 만듭니다. 유용한 추론은 모델이 어떤 부분이 중요한지 식별하고, 그것들을 연결하며, 증거에 의해 뒷받침되는 결론에 도달하도록 요구합니다.

우리가 해석하기로는 Astra의 가장 흥미로운 발전은 적절한 정보를 연결하는 데 있습니다. 더 어렵고 여러 파일에 걸친 리뷰에서 얻는 큰 개선점들은 관련 정보가 분산되어 있는 작업에서 진전이 있음을 시사합니다. 하지만 이 진전의 원인을 특정하거나, 단순히 컨텍스트(context)를 많이 제공하는 것만으로 모델의 성능이 향상된다는 것을 증명하지는 못합니다.

OpenAI는 Astra를 코드, 브라우저 및 전문 소프트웨어 전반에 걸친 다단계 작업에 활용하도록 포지셔닝하고 있습니다.

모델을 이용해 개발하는 팀들에게 유용한 질문은 '추가적인 추론(reasoning)이 비용을 지불할 만큼 결과를 충분히 변화시키는 곳'입니다. 산재된 증거를 가진 어려운 작업이, 저렴한 모델이 이미 안정적으로 처리하는 일상적인 작업보다 더 깊이 조사해 볼 가치가 있는 후보지입니다. 이것이 모든 세션을 Astra로 전환하여 추론 노력을 최대로 끌어내고 무작정 사용해야 한다는 의미는 아닙니다.

강력한 추론은 프리미엄을 요구한다

Astra의 표준 API 요금은 Astra가 발표한 가격에 따르면 입력 토큰 100만 개당 $10, 출력 토큰 100만 개당 $50입니다. Fable 5.1도 동일한 기본 입력 및 출력 요율을 가지고 있지만, 캐싱(caching) 가격은 다릅니다. Anthropic의 가격 문서에서 전체 내역을 확인할 수 있습니다.

이러한 가격들을 맥락적으로 이해하기 위해, 추론 토큰을 포함하여 100,000개의 비캐시 입력 토큰과 10,000개의 청구 가능한 출력 토큰을 사용하는 예시 작업을 고려해 봅시다. 토큰 사용량을 일정하게 유지하면 발표된 요율들을 비교하기가 더 쉬워지며, 실제 작업 비용은 사용량에 따라 달라집니다.

OpenAI는 자체 평가 중 일부에서 토큰 가격이 높음에도 불구하고 Astra의 예상 작업 비용이 낮다고 보고했습니다. 따라서 총 성공 결과당 비용은 단순히 토큰 가격이나 기능 점수만으로 결정을 내리기보다는, 귀하의 업무에 따라 측정할 가치가 있습니다. OpenAI의 효율성 지침을 읽어보세요.

코드 리뷰를 넘어 전이될 수 있는 것들

전이 가능한 아이디어는 개별 소스 간의 관계에 대한 추론입니다. 저희의 발견은 평가할 가치가 있는 몇 가지 사용 사례들을 시사하며, 저희는 Astra로 이 작업들을 측정하지 않았습니다:

연구 합성(Research synthesis): 상충되는 보고서 조정, 주장과 그 증거 연결, 그리고 각 문서 요약만으로는 놓칠 수 있는 격차 식별.
운영 조사(Operational investigation): 로그, 사고 기록, 런북에서 일관된 설명을 구성하는 동시에 관찰 사항을 가설과 분리하기.
요구사항 및 정책 분석(Requirements and policy analysis): 제안된 변경 사항이 사양, 내부 정책, 구현 계획 전반에 걸쳐 추적되어 전문가 검토를 위한 불일치점을 플래그 지정하기.
문서 및 스프레드시트 작업: 보고서와 그 지원 자료 전반에서 가정, 공식, 서술 결론이 일치하는지 확인하기.

공통적인 구조는 부분들 간에 의존성이 있는 분산된 증거입니다. 답변을 확인할 수 있는 제한된 업무부터 시작하세요. Astra가 귀하의 워크플로우나 제품에 적합한지 테스트하는 가장 쉬운 방법은 현재 사용 중인 모델과 동일한 작업에서 병행하여 실행해 본 다음, 답변 품질, 검증 시간 및 총 비용을 비교하는 것입니다.

NIGHTSHIFT 구축 및 균형 맞추기

저희는 또한 Astra를 사용하여 전체 게임인 NIGHTSHIFT를 만들었습니다. 이 게임은 Godot과 GDScript로 제작된 액션 RPG입니다. 가장 어려웠던 문제는 시스템 간의 상호 작용을 균형 있게 맞춘 다음, 게임이 변경됨에 따라 그 균형을 재검토하는 것이었습니다.

이는 7개의 캐릭터 클래스에 걸친 추론을 의미하며, 전설적인 Path of Exile의 패시브 노드 트리에서 영감을 받은 988개 노드의 수동 스킬 트리, 액티브 스킬, 룬, 소켓 가능 업그레이드, 스킬 진화 및 협동 플레이를 포함합니다. 10개의 막(act)에 걸친 40개의 지역을 통해 캠페인은 점점 더 복잡해지는 적 무리와 조합을 소개합니다. 클래스를 변경하는 것만으로도 어떤 업그레이드가 유용한지, 스킬이 어떻게 발전하는지, 파티가 무엇을 처리할 수 있는지 바뀔 수 있습니다.

개발 과정에서 핵심 시스템에 근본적인 변화를 주었기 때문에 Astra에게 그 결과를 검토하고 재조정하도록 요청했습니다. 이와 같은 게임에서 '밸런스'는 매력적인 게임 플레이를 위한 가장 어려운 창의적 과제입니다. 진행, 전투, 난이도를 일관되게 유지하면서 광범위한 변경을 하거나 완전히 새로운 게임 시스템 및 메커니즘을 도입하는 방법은 무엇일까요?

또한 플레이어들이 클래스, 능력치(stats), 아이템, 패시브, 액티브 스킬의 영리한 조합을 통해 강력한 엔드게임 빌드를 발견하기를 원했습니다. 도전 과제는 중반 게임에 도달하는 것조차 불확실할 수 있는 진행 과정을 만들면서도, 창의성과 실험이 장관으로 보상받을 수 있도록 하는 것이었습니다. 이러한 조합을 찾아낸 것에 대한 보상은 적 무리를 만족스럽게 녹일 수 있는 빌드를 완성하는 것이었습니다.

이 과정은 다른 작업 사이에 게임에 돌아가서 Astra에게 피드백을 주고, 균형을 다듬는 데 있어 완전한 자율성을 부여하는 것을 의미했습니다. Astra는 또한 네이티브 PS5 및 Xbox 컨트롤러 지원, 네이티브 macOS, 웹 및 Linux 빌드, 그리고 협동 플레이를 구축했습니다. 특히 협동 플레이는 흥미로웠는데, Astra가 동일한 컴퓨팅 환경 및 LAN에서 플레이할 수 있도록 구현했기 때문입니다. 이는 우리가 macOS를 사용하는 동료들에게 배포하기를 원했기 때문에 새로운 Xcode 프로젝트, App Store Connect 계정 생성, 여러 인증서 및 권한 부여 설정, 그리고 노타라이징(notarization)을 필요로 했습니다.

아스트라(Astra)는 모든 것을 자율적으로 처리했으며, 자신이 이미 가지고 있지 않은 권한이나 허가만 가끔 요청하는 정도였습니다. 재미있는 보너스로, 이 게임은 에이전트들 자체가 플레이어가 되도록 구축되어 있었는데, 이는 아스트라와 함께 팀원으로서 라이브 협업 세션을 즐길 수 있다는 것이 다소 초현실적이었습니다. 우리 중 몇몇은 이 게임을 멈추기 어려워했습니다. "저는 모델 평가(model evals) 작업을 하고 있어요"라는 말이 매니저가 들를 때 게임을 열어두는 것에 유용한 설명이 되었습니다.

이 게임은 우리에게 코드 리뷰에서 두드러졌던 것과 동일한 능력을 탐색할 수 있는 창의적인 환경을 제공했습니다. 아스트라는 각 변경 사항이 시스템의 나머지 부분에 어떻게 영향을 미치는지 추론해야 했습니다.

다음으로 보고 싶은 것 (What we want to see next)

다음의 흥미로운 발전은 이 깊이 있는 추론 능력을 더 자주 사용할 수 있을 만큼 신뢰할 수 있게 만드는 것입니다. 이는 어려운 작업에서 일관된 개선, 사람들이 검증할 수 있는 결론, 그리고 성공적인 결과에 대한 낮은 총비용을 의미합니다.

이를 위해서는 관련 컨텍스트(context)의 더 나은 선택, 더 명확한 뒷받침 증거, 그리고 불필요한 단계가 줄어들어야 합니다. 또한 실제 고객 약속 하에서도 고급 기능을 사용할 수 있도록 하는 개인 정보 보호 기능이 있는 배포 경로도 필요합니다.

아스트라는 저희에게 교차 파일 추론(cross-file reasoning)에 대한 고무적인 신호를 제공합니다. 실질적인 기회는 그 능력을 더 유용하고 신뢰하기 쉬운 작업으로 전환하는 것입니다. CodeRabbit에서 새로운 모델을 온라인화하는 것과 마찬가지로, 평가(evaluation)는 그 결정의 한 부분입니다.

고객 데이터 보호 (Protecting customer data)

CodeRabbit이나 저희 모델 제공업체는 CodeRabbit 고객의 독점 코드나 비공개 코드 리뷰 중에 수집된 개인 정보를 사용하여 AI 모델을 학습시키지 않습니다. 당사의 개인 정보 보호 정책을 읽어보십시오.

OpenAI와 Anthropic은 서로 다른 데이터 보유 정책(data-retention policies)을 가지고 있습니다:

OpenAI: GPT-6 Astra는 적격 API 고객에게 데이터 보존 제로(zero data retention)를 지원합니다. OpenAI의 API 데이터 통제 정책은 ZDR 자격 및 지원되는 기능을 설명합니다. Astra 발표, OpenAI 데이터 통제.Anthropic: Fable은 안전 모니터링을 위해 기본적으로 30일간 데이터를 보존해야 하지만, 이제 적격 고객은 Enterprise Frontier Safeguards가 도입되는 동안에도 Fable 5와 5.1에서 ZDR을 사용할 수 있습니다. 다른 비즈니스를 위한 제품의 경우, 해당 옵션은 Anthropic과 합의된 약관이 필요합니다. EFS는 보존된 활동 데이터를 고객이 통제하는 인프라에 유지하도록 설계되었습니다. 커버드 모델 보존 정책, Enterprise Frontier Safeguards, 자격 세부 정보.

고객 리뷰를 위해 우리가 사용하는 모든 모델은 우리의 데이터 보호 요구 사항을 충족해야 합니다.