Sol 6.1의 가치를 밝힌 216개의 코딩 시도 분석

요약 (TL;DR)

• Sol 6.1은 시도당 평균 $0.101을 기록했으며, 주요 검사에서 100/100점을 받았고, 12/12회의 시도 만에 승인된 코드를 제출했습니다.
• 트랜잭션 태스크에서는 추가 테스트를 통해 6개 중 4개와 6개 중 5개의 씨앗(seeded) 결함을 포착했으며, Medium 모델은 이를 각각 6개 중 5개, 6개 중 6개로 개선했지만 추정 비용은 9.9% 증가했습니다.
• 이 결과들은 여섯 가지 지정된 태스크에서 나온 것입니다. 달러($)는 동결 API(frozen API)-등가 추정치입니다.

저는 Tor Production 프로젝트를 통해 공개한 벤치마크에서 Sol 5.6, Sol 6, 그리고 Sol 6.1을 비교했습니다. 가장 유용한 차이점은 단순히 통과 점수를 넘어섰을 때 나타났습니다. 생성된 테스트가 무엇을 포착했는지, 그리고 그 능력이 얼마의 비용이었는지입니다.

public repository에는 표준(stand), 태스크 계약(task contracts), 평가기(evaluators), 제출된 코드, 결과, 그리고 영어 보고서가 포함되어 있습니다.

비교 항목

설정은 3가지 모델 × 6가지 추론 노력 × 6가지 Python 태스크 × 2가지 시도 = 총 216회 시도로 구성되었습니다. 이 노력(effort)들은 Low, Medium, High, Xhigh, Max, Ultra였습니다.

태스크가 다룬 내용은 다음과 같습니다:

• Interval merging (간격 병합).
• A TTL/LRU cache (TTL/LRU 캐시).
• A concurrent dependency-graph executor (동시 의존성 그래프 실행기).
• SQLite, HTTP, 그리고 CLI 구성 요소를 갖춘 예약 서비스(reservation service).
• An exact constrained optimizer (정확한 제약 최적화기).
• 복구 기능이 있는 직렬화 가능한 MVCC 트랜잭션 엔진(serializable MVCC transaction engine with recovery).

각 시도는 새로운 스캐폴드와 세션을 시작했습니다. 에이전트는 제공된 테스트를 실행하고 추가 테스트를 할 수 있었지만, 숨겨진 테스트 피드백이나 채점 재시도 기회는 받지 못했습니다. 아카이브에는 실패한 결과가 보존되어 있습니다: 총 214회의 시도가 완료되었으며, 그중 213회가 승인된 제출물이었습니다.

1. Low 노력으로 강력한 전달 가치 입증

1. 낮은 노력으로 강력한 전달 가치 입증

Cost versus accepted delivery rate across all model and effort settings. Sol 6.1 Low costs about $0.101 per attempt and accepts all 12 deliveries; arrows identify partial cost observations.

이 차트는 모든 노력을 다루며, 이 표는 Low만 분리하여 보여줍니다.

저장된 구현체의 등급과 완료된 전달물은 별개의 결과입니다. 예를 들어, Sol 6 Max 예약 시도는 저장된 코드가 메인 검사를 통과했음에도 불구하고 시간 초과되었습니다. 이는 기능 점수를 유지하면서 승인된 전달물 비율을 낮추었습니다.

2. 생성된 테스트가 모든 것을 통과한 구현체를 분리함

36개의 트랜잭션 구현체 모두 메인 평가기를 통과했습니다. 이들이 추가한 테스트는 훨씬 유사하지 않았습니다.

저는 올바른 참조 구현체에 주입된 여섯 가지 고정 결함(스냅샷 읽기 오류, 쓰기 편향(write skew), 놓친 환상(missed phantoms), 롤백 후 잊힌 읽기(forgotten reads after rollback), 복구 버전 간격(recovery-version gaps), 체크포인트 별칭 지정(checkpoint aliasing))에 대해 이 테스트들을 평가했습니다.

사용 가능한 변이(mutation) 결과는 추가 테스트가 후보와 양성 참조 모두에서 통과해야 합니다. 실행된 단언 실패(assertion failures)만 감지된 결함으로 계산됩니다. 호환되지 않거나 불완전한 증거는 설정의 점수에 평균화되는 대신 N/A로 보고됩니다.

이 작업에서 추가 노력이 가져온 것

Sol 6.1의 경우:

이 작업에서 추가 노력이 가져온 것

Sol 6.1의 경우:

• Low: 두 번의 실행에 걸쳐 총 12개 중 9개의 결함 기회(defect opportunities)가 감지되었으며, 시도당 약 $0.129였습니다.
• Medium: 12개 중 11개로, $0.142였으며 이는 **9.9%**의 추정 비용 증가를 의미합니다.
• High: 12개 중 12개로, $0.203이었습니다. 이 설정은 두 번의 실행 모두에서 여섯 가지 결함(six defects)을 포착하는 데 있어 아카이브 내에서 가장 저렴한 설정이었습니다.

MVCC generated-test sensitivity against estimated cost across three models and six efforts. Sol 6.1 Low detects 9 of 12 opportunities, Medium 11, and High all 12.

이는 노력(effort) 선택을 구체화합니다: 귀하의 작업에 추가적인 테스트 민감도(test sensitivity)가 얼마나 유용한지? 이 결과는 선언된 결함 세트(declared defect set)에 적용되는 것이며, 더 높은 노력이 항상 더 많은 실제 버그를 포착한다는 것을 입증하는 것은 아닙니다.

3. 가격 및 사용량 차이를 모두 포함한 비용 우위성

모델당 70개의 일치하는 작업/노력/반복 관찰(task/effort/repetition observations)에 걸쳐, Sol 6.1의 API 등가 총액은 Sol 6보다 28.9% 낮았습니다. 동일한 두 개의 부분 비용 키는 두 모델에서 제외되었습니다.

가격 브릿지(pricing bridge)는 세 단계로 구성됩니다:

1. Sol 6 사용량 (Sol 6 요율 적용): $19.71.
2. 정확히 그 사용량을 Sol 6.1 요율로 재가격 책정: $16.68.
3. 관찰된 Sol 6.1 사용량 (Sol 6.1 요율 적용): $14.02.

Matched cost bridge: Sol 6 usage costs $19.71 at Sol 6 rates, $16.68 at Sol 6.1 rates, and observed Sol 6.1 usage costs $14.02. The combined reduction is 28.9%.

중간 단계는 사용량을 일정하게 유지하면서 캐시된 입력(cached-input) 요율을 변경합니다. 마지막 단계는 공통 요율 하에서 관찰된 사용량 차이를 반영합니다. 이러한 순서 의존적 비교는 내재적인 모델 효율성에 대한 인과적 증거를 제공하지 않습니다.

제가 이 결과를 활용하는 방법

Sol 6.1은 이 테스트 스위트(suite)에서 강력한 가치를 보여주었으며, 특히 Low 설정에서 그렇습니다. 지정된 트랜잭션 작업의 경우, Medium 설정은 적당한 추정 비용 증가로 생성된 테스트 민감도에 측정 가능한 개선을 가져왔습니다.

점수(scores)가 포화 상태에 도달하면, 작업에 중요한 다른 결과 지표를 검사하세요. 여기서는 선언된 결함을 감지하는 테스트가 종합적인 주요 점수보다 더 유용한 분리 능력을 제공했습니다.

범위를 염두에 두세요:

• 비용은 고정된 Standard API 가격 일정에 따른 관찰된 Codex 토큰을 기반으로 한 추정치이며, 구독 청구서나 직접적인 API 실험이 아닙니다.
• 에이전트 경과 시간(Agent elapsed time)에는 추론(reasoning), 도구 사용(tools), 자체 테스트가 포함됩니다. 생성된 코드 실행 시간은 별도로 측정됩니다.
• 6가지 작업과 구성당 2번의 시도만으로는 일반적인 지능 순위를 확립할 수 없습니다. 수동 설계 검토는 여전히 보류 중입니다.

findings and derivations를 통해 모든 비교가 검사 가능하도록 만들었습니다.

다음 비교를 더 유용하게 만들기 위해 어떤 작업이나 결함을 추가하시겠습니까?