올여름 약 10,000명의 연구자가 배포(rollout)에 참여하며, 계획된 코호트(cohort)는 2027년까지 100,000명의 교수진과 박사후 연구원(postdocs)에 달할 예정입니다. 접근 권한은 ChatGPT, ChatGPT Work, 그리고 Codex에 걸쳐 있지만, 재현성(reproducibility)은 여전히 설계(engineered)되어야 합니다.

접근 방식은 변하지만, 수용 기준은 변하지 않습니다

무료 프론티어 모델(frontier-model) 접근은 학술 팀에게 의미 있는 장벽을 제거해 줍니다. GPT-5.6 Sol Pro 또한 선정된 연구자들에게 제공될 예정입니다. 이는 더 많은 연구실이 연구 질문으로부터 생성된 코드 및 도구 지원 실행(tool-assisted execution)으로 나아가는 실질적인 경로를 갖게 함을 의미합니다.

하지만 이것이 출력값(output)을 기본적으로 방어 가능하게(defensible) 만들어 주지는 않습니다. 모델은 그럴듯한 코드를 생성할 수 있지만, 주변 실행 과정이 기록되지 않은 데이터, 변경된 환경, 오래된 검색 인덱스(retrieval index), 또는 문서화되지 않은 검토 선택(review choice)에 의존할 수 있기 때문입니다. 따라서 유용한 작업 단위는 최종 답변이 아니라, 그 답변을 만들어낸 전체 실행(complete run)입니다.

먼저 보고된 모델의 사실(facts)과 엔지니어링 권장 사항을 분리하는 것부터 시작하십시오. 예를 들어, GPT-5.6 Sol은 FrontierMath 결과를 보유하고 있는 반면, GPT-5.6 Sol Pro는 GeneBench Pro 결과를 보유하고 있습니다. 이러한 벤치마크(benchmarks)는 서로 다른 작업을 테스트합니다. 이를 하나의 순위로 취급하는 것은 연구 팀이 모델을 작업에 맞출 때 실제로 필요로 하는 구분을 지워버릴 것입니다.

전체 연구 실행(research run)의 버전을 관리하십시오

생성된 코드를 포함하는 커밋(commit)만으로는 충분하지 않습니다. 동일한 기록은 코드, 입력 데이터, 실행 환경, 프롬프트(prompts), 도구 출력(tool outputs), 그리고 인간의 검토 결정(human review decisions)을 식별해야 합니다. 만약 이 중 어느 하나라도 흔적을 남기지 않고 독립적으로 변경될 수 있다면, 다른 연구자는 왜 나중의 실행 결과가 다른지 설명할 수 없을 것입니다.

각 실행에 내구성이 있는 식별자(durable identifier)를 부여하십시오. 해당 식별자를 종속성(dependencies)의 정확한 버전과 연결하고 결과물(artifacts)을 보존하십시오. 검토자가 수락, 거부 또는 재실행을 요청할 때, 해당 결정을 동일한 기록에 캡처하십시오. 이를 통해 검토는 비공식적인 대화에서 증거 사슬(evidence chain)의 일부로 전환됩니다.

실질적인 테스트 방법은 간단합니다. 동료가 무엇이 실행되었는지와 팀이 왜 그 결론을 수용했는지 둘 다 재구성할 수 있는가 하는 점입니다. 만약 기록이 전반부(무엇이 실행되었는지)에 대해서만 답변한다면, 해당 워크플로우(workflow)는 반복 가능(repeatable)할 수는 있으나 완전히 감사 가능(auditable)하지는 않습니다.

모델과 도구 사이에 하네스(harness)를 배치하십시오

Codex 스타일의 실행은 에이전트(agent)가 명시적인 경계 내에서 작동할 때에만 연구 인프라가 됩니다. 프로덕션 하네스(production harness)는 다음과 같은 6가지 제어 항목을 구현해야 합니다:

1. 예산 (Budgets): 실행에 사용 가능한 리소스를 제한하여, 에이전트가 의도적인 결정 없이 계속 진행할 수 없도록 합니다.
2. 도구 권한 (Tool permissions): 연구 작업에 필요한 작업과 데이터 소스만 노출합니다.
3. 전체 추적 (Full traces): 프롬프트(prompts), 도구 호출(tool calls), 출력(outputs), 그리고 이들을 연결하는 시퀀스(sequence)를 보존합니다.
4. 중단 조건 (Stop conditions): 에이전트가 무기한으로 즉흥적인 행동을 하는 대신, 실행이 반드시 중단되어야 하는 시점을 정의합니다.
5. 평가 게이트 (Evaluation gates): 생성된 코드, 변환된 데이터 또는 결론이 진행되기 전에 증거 확인을 요구합니다.
6. 복구 가능한 실패 (Recoverable failures): 실패한 시도를 검사하고 안전하게 재개하거나 다시 실행할 수 있도록 충분한 상태(state)를 유지합니다.

이러한 제어 항목들은 하나의 실행 ID(run identity)를 공유할 때 가장 유용합니다. 추적 기록(trace)이 없는 예산 이벤트나, 평가 대상이었던 산출물(artifact)이 없는 검토 결과는 불완전한 이야기를 남길 뿐입니다.

검색을 버전 관리되는 의존성으로 취급하십시오

연구 에이전트(research agents)는 자신이 읽는 파이프라인(pipelines)과 검색 인덱스(retrieval indexes)의 품질, 최신성, 계보(lineage) 및 액세스 제한을 그대로 물려받습니다. 모델의 품질은 출처나 업데이트 상태를 알 수 없는 입력값의 결함을 보완할 수 없습니다.

어떤 파이프라인이나 인덱스가 실행에 사용되었는지, 에이전트가 무엇을 요청했는지, 어떤 산출물(artifacts)이 반환되었는지, 그리고 어떤 액세스 경계(access boundaries)가 적용되었는지를 기록하십시오. 소스가 변경된다면, 다음 실행은 이전의 증거를 조용히 덮어쓰는 것이 아니라 추적 가능한 새로운 실행(run)이 되어야 합니다.

이는 결론이 생성된 코드와 검색된 자료를 결합할 때 특히 중요합니다. 검토자(Reviewers)는 추론의 오류와 오래되거나 불완전하거나 접근할 수 없는 데이터에 의해 상류(upstream)에서 유입된 오류를 구분할 수 있어야 합니다.

모델뿐만 아니라 워크플로우(workflow)를 평가하십시오

벤치마크(Benchmark)는 모델 선택에 정보를 제공할 수 있지만, 프로덕션 평가(production evaluation)는 연구 경로를 따라야 합니다. 생성된 코드가 기록된 환경에서 실행되는지, 데이터 변환(data transformations)이 계보(lineage)를 보존하는지, 도구 호출(tool calls)이 권한 범위 내에서 유지되는지, 그리고 과학적 결론이 검토 게이트(review gates)를 통과하는지 확인하십시오.

Van Data Team에서는 시작 지도의 범위로 연구 사양(research specification), 데이터 계보(data lineage), 실행 경계(execution boundaries), 검토 게이트(review gates), 그리고 복구 경로(recovery path)를 다룹니다. 해당 지도는 에이전트(agent)가 작업을 시작하기 전에 평가 기준을 가시화합니다. 또한 검토자들에게 실패의 원인이 프롬프트(prompt) 변경인지, 파이프라인(pipeline) 수정인지, 권한 변경인지, 아니면 다른 모델의 사용인지를 결정하기 위한 공통된 근거를 제공합니다.

정직한 트레이드오프 (tradeoff)

추적 가능성(traceability)이 높아진다는 것은 저장하고 검사해야 할 산출물(artifacts)이 많아짐을 의미합니다. 검토 게이트(review gates)는 탐색적 작업(exploratory work)을 늦출 수 있습니다. 엄격한 권한 및 중단 조건(stop conditions)은 연구자가 추구했을 유용한 경로를 방해할 수도 있습니다.

그 대안은 결과물은 더 빠르게 나오지만, 그것이 어떻게 생성되었는지에 대한 증거는 더 약해지는 것입니다. 초기 탐색 단계에서는 팀이 더 가벼운 통제 방식을 선택할 수 있습니다. 하지만 과학적 결론을 뒷받침해야 하는 작업의 경우, 버전 관리된 실행(versioned runs), 명시적 게이트(explicit gates), 그리고 복구 가능한 실행(recoverable execution)의 필요성이 훨씬 더 강력해집니다.

만약 당신이 AI 지원 연구 실행(AI-assisted research run)을 위한 최소 수용 가능 증거를 정의한다면, 어떤 산출물(artifact) 없이는 배포를 거부하시겠습니까?

📖 가이드 전문 읽기 → ChatGPT for Academic Researchers: GPT-5.6 Sol Pro