서론
우리가 얻은 가장 큰 시사점:
현재 에이전트(Agents)들은 24시간 걸리는 연구 작업의 거의 절반을 자체적으로 완료하고 있습니다. 하지만 AI 개발에서 인간은 여전히 핵심적인 역할을 합니다. 3월부터 10월까지, 사람의 노동력이 24시간 필요하다고 추정되는 작업의 성공률은 23%에서 46%로 상승했으며, 4~8시간이 필요한 작업을 기준으로도 13%에서 35%로 상승했습니다. 하지만 어떤 종류의 일이 중요합니다. 예를 들어, 작업별 분석을 해보면, 자율 에이전트(autonomous agent)의 성공률은 트레이닝 실행 모니터링 시 79%, 트레이닝 실행 시작 시 35%, 추론 및 서비스 스택용 코드 작성 시 25%였습니다. 전반적으로 향상 폭은 들쭉날쭉하며, 인간은 AI 연구 루프의 핵심 부분을 차지하고 있습니다.
에이전트 사용률이 급증하고 있으며, 가장 많이 사용하는 사용자 그룹이 더욱 앞서 나가고 있습니다. API 리스트 가격 기준으로, 평균적인 연구자의 일일 사용량은 10월에 $2,400에 달했으며 이는 9월 대비 62% 증가한 수치입니다. 상위 10%(90th percentile)에서는 $23,000에 이르러 9월 대비 105% 증가했습니다. 설문조사는 연구자들이 이러한 도구를 얼마나 중요하게 생각하는지에 대한 또 다른 지표를 제공합니다. 연구자들에게 프론티어 코딩 에이전트를 3개월 동안 유지하기 위해 무엇을 포기할 수 있는지 물었을 때, 평균적인 답변은 팀 컴퓨팅 자원의 30%였거나, 별도의 질문에서는 팀 인력의 40%였습니다.
연구자들은 안전성(Safety)과 정렬(Alignment)에 점점 더 많은 인간의 노력을 투입하고 있으며, 이는 OpenAI의 주요 연구 영역 전반에서 기록된 연구 노력의 절대적인 증가가 가장 큰 분야였습니다. Safety와 Alignment 관련 문서화된 작업 주차는 신규 채용 인력과 기존 연구자들이 이 워크스트림으로 이동하면서 1월 대비 9월에 77% 증가했습니다. 이러한 성장은 2026년 7월 Hugging Face 사건에 대한 당사의 대응 이후 눈에 띄게 빨라졌습니다.
- AI 연구의 입력물(우리는 코딩 에이전트에 초점을 맞추지만, 다른 입력물로는 데이터, 인간 노동력, 컴퓨팅 자원이 포함됩니다.) - 연구자들이 이러한 입력물을 모델 역량으로 전환하는 과정(AI 연구) - AI 연구 과정에서 볼 수 있는 산출물(모델 역량의 개선).
내부 에이전트 사용률
에이전트 작업일
동시 에이전트 사용
인간 노동 비용 대비 내부 에이전트 사용
연구원들이 시간을 할애하는 곳
프로세스
연구 활동 측정 지표
모델에 위임된 작업 및 성공률
연구원들이 에이전트를 사용하는 작업
AI 사용에 대한 연구원들의 관점
코딩 에이전트의 자체 보고 가치
- 팀 인력의 40%
- 현재 팀 컴퓨팅 자원의 30%
- 만약 이 질문이 2027년 1월에 제기되었다면 팀 컴퓨팅 자원의 50% (모델이 2027년까지 얼마나 개선될지에 대한 기대치를 반영)
큰 아이디어가 나오는 곳
연구 워크플로우의 변화
연구원들은 코드를 구현하고 디버깅하며 실험을 감독하기 위해 에이전트를 사용합니다:-
"저는 한때 오픈 소스 평가(eval)를 포팅했는데, '이것이 좋은 평가지표인지'에 대한 연구와 분석 결과를 얻는 것이 매우 복잡했습니다. 목표 지점에 도달하는 데 일주일 반에서 이틀 정도가 걸릴 수도 있었습니다. 하지만 지금은 평가 종류에 따라 다르지만, 0부터 실행까지 하루 만에, 어쩌면 며칠이 걸립니다."
—연구원 7, 안전(safety), 평가 작업 담당
- "저는 한때 오픈 소스 평가(eval)를 포팅했는데, '이것이 좋은 평가지표인지'에 대한 연구와 분석 결과를 얻는 것이 매우 복잡했습니다. 목표 지점에 도달하는 데 일주일 반에서 이틀 정도가 걸릴 수도 있었습니다. 하지만 지금은 평가 종류에 따라 다르지만, 0부터 실행까지 하루 만에, 어쩌면 며칠이 걸립니다."
에이전트는 연구 아이디어, 코드 품질, 데이터 품질, 작문 능력에서 미흡합니다:-
"모델은 일반적으로 스스로 해결할 수 없는 잘 정의된 문제(well-posed problems)를 한 번에 생각해내지 못합니다. 그리고 모델에게 데이터 포인트를 백 번 생성해 달라고 요청하면, 매번 비슷한 데이터 포인트가 생성될 것입니다."
—연구원 2, 안전(safety), 강화학습 (RL) 환경 작업 담당
- “모델은 일반적으로 스스로 해결할 수 없는 잘 정의된 문제(well-posed problems)를 한 번에 생각해내지 못합니다. 그리고 모델에게 데이터 포인트를 100번 생성하도록 요청하면, 매번 유사한 데이터 포인트가 생성됩니다.”
워크플로우는 저품질 결과물 및 시간 낭비를 피하기 위해 인간의 긴밀한 개입이 필요합니다: 에이전트(agents)들은 실험을 효율적으로 시작하는 데 어려움을 겪었고, 불필요한 단계에 빠져들었으며, 'AI 쓰레기(AI slop)' PR을 작성했고, 사용 불가능한 데이터 아티팩트(data artifacts)를 생성했으며, 잘못된 분석 가정을 했습니다.
- “저는 ‘이 작업을 저 작업처럼 만들어 줘’라고 말해봤지만, 완벽하지 않아 제가 수정해야 할 때 너무 여러 번 실패했습니다. 이제는 ‘일단 하나 만들게. 내가 검토하고 수정할 테니, 나머지는 진행해 봐.’라고 합니다.”
—연구원 1, 포스트트레이닝(posttraining), 평가 작업 중
- “저는 ‘이 작업을 저 작업처럼 만들어 줘’라고 말해봤지만, 완벽하지 않아 제가 수정해야 할 때 너무 여러 번 실패했습니다. 이제는 ‘일단 하나 만들게. 내가 검토하고 수정할 테니, 나머지는 진행해 봐.’라고 합니다.”
연구원들은 현재 병목 현상 영역에서 상당한 개선을 기대합니다:
- “저는 아이디어 측면에서 더 많은 안목이 있다고 생각합니다. 하지만 이것이 상당한 기간 동안 계속될 것이라는 확신은 없습니다.”
—연구원 8, 프리트레이닝(pretraining), 아키텍처 및 데이터 작업 중
- “저는 아이디어 측면에서 더 많은 안목이 있다고 생각합니다. 하지만 이것이 상당한 기간 동안 계속될 것이라는 확신은 없습니다.”
연구원들은 대규모로 콘텐츠를 스캔하고 생성하는 것에서 큰 향상을 확인했습니다: 연구원들은 모델을 사용하여 수천 개의 샘플을 스캔하여 실험의 문제를 진단하고, 모델 행동의 우려되는 사례를 표시하며, 새로운 데이터셋을 구축하고 품질 관리(QC)했습니다.
- “최근에 제가 한 일 중 하나는 저희 데이터 전체를 살펴보는 것이었습니다… 몇 차례 돌려서 어떤 결과가 나오는지 조정해 봤습니다. … 모든 것이 정리된 정말 멋지고 거대한 시트가 나왔어요. … AI가 없었다면 엄청나게 고통스러웠을 겁니다.”
—연구원 3, 포스트트레이닝(posttraining), 데이터 품질 작업 중
최근에 제가 한 일 중 하나는 저희의 모든 데이터를 살펴보는 것이었습니다... 몇 차례 반복하도록 시킨 후 그것이 제공하는 것을 보정했습니다. ... 그 결과, 모든 것이 정리된 정말 멋지고 거대한 시트가 나왔습니다. ... AI가 없었다면 이것은 매우 고통스러웠을 것입니다.
출력물 (Outputs)
변경된 코드 라인 수 (Lines of code changed)
연구 실험 (Research experiments)
OpenAI ECI
결론 (Conclusion)
- 역량(capabilities) 대 안전성 연구의 차별적 가속화
- 연구 가속화의 선행 지표 (예: 모델 개발 및 평가의 전체 주기를 완료할 필요 없이 상승(uplift) 증가를 감지하는 것)
- 시간 경과에 따른 전반적인 역량 추이와 연구 가속화가 이러한 추이에 미치는 영향