오늘은 @OpenAI에서의 마지막 날입니다. 이곳에서 제 인생의 지난 8개월을 보낼 수 있어 정말 기쁩니다!

저는 고품질 강화학습 (Reinforcement Learning, RL) 데이터셋 제작에 집중하는 새로운 회사를 시작하려 합니다:

1. LLM (Large Language Models)의 일반화 능력 (Generalization ability)은 분명히 매우 부족하며, 엄청난 양의 투자와 관심이 집중된 분야에서조차 능력치가 "들쭉날쭉(spiky)"합니다. 예를 들어, 수십 년간 수백억 달러가 투자되었음에도 불구하고, 코딩 능력조차 "범용성(generality)"을 보여주지 못합니다. 모든 모델이 저보다 Codeforces 문제를 더 잘 풀거나 C++를 Rust로 더 잘 변환할 수는 있겠지만, 저는 여전히 Pull Request를 수동으로 "데슬롭(deslop)", 즉 정제해야 합니다.

2. 경제적으로 생산적인 능력의 대다수는 기존의 데이터 제공 서비스에 잘 나타나 있지 않습니다. 첫째, RL 데이터셋 설계에는 일종의 기술(art)이 필요한데, 대규모 학습 실행(training runs)에 직접 데이터를 공급해 본 적이 없는 대부분의 공급업체는 이를 제대로 이해하지 못합니다. 둘째, 더 중요한 점은 대부분의 작업이 매우 맥락적(contextual)이어서 채점 가능한 환경(gradable environment)으로 쉽게 인코딩되지 않는다는 것입니다. 우리가 좋다고 믿는 인간이 취한 "골든 패스(golden path)"를 관찰할 수는 있어도, 대안적인 반사실적 경로(counterfactual paths)가 좋은 결과나 나쁜 결과를 낳는지 이해하는 것은 매우 어렵습니다.

여기서 저의 기본 전제는, 제가 조달(procurement)부터 학습(training)에 이르기까지 모든 단계에 직접 참여하며 연구소(labs)들이 무엇을 필요로 하고 원하는지 명확히 이해하고 있으며, 그것을 제공할 수 있다는 것입니다. 또한 저는 향후 몇 년 동안 데이터 수요가 엄청나게 증가할 것이라고 믿습니다. 특히 프런티어 연구소(frontier labs)들이 수익성을 향한 압박을 점점 더 많이 받게 됨에 따라, 단순히 스케일링(scaling)만으로는 관련 능력을 "공짜로" 얻을 수 없을 것입니다. 대신, 그들은 정밀하고 잘 타겟팅된 데이터 확보를 위해 1,000억 달러 이상을 지출해야 할 것입니다.

우리의 첫 번째 제품들은 생물학(biology)과 통계적 추론(statistical reasoning)에 집중할 것입니다:

1. 첫째, @jeremyli__와 함께 진행한 GeneBench-Pro 연구를 바탕으로, 장기적 과학적 추론 (long-horizon scientific reasoning) 문제를 다루는 데이터셋입니다. 프런티어 모델 (Frontier models)은 판단, 탐색, 적응적 수정 (adaptive revision)이 필요한 "복잡한 (messy)" 데이터 분석을 여전히 신뢰성 있게 수행하지 못합니다 (GPT-5.6 Sol에서 GB-Pro 통과율은 30%를 간신히 넘는 수준입니다). 이를 해결하기 위해, 우리는 신뢰할 수 있는 채점 (graded)이 가능하며 정답 (ground truths)이 알려진 수천 개의 고품질 문제를 생성할 수 있는 능력을 갖추고 있습니다. (이와 대조적으로, 생물 정보학 (bioinformatics)을 위한 기존의 대부분의 강화학습 (RL) 데이터는 과도하게 지정되었거나 혹은 너무 불충분하게 지정되어 있어, 이를 통해 학습할 경우 모델이 망가질 가능성이 높습니다.) 과학적 가속화를 위해서는 이 "신뢰성 격차 (reliability gap)"를 30%에서 90% 이상으로 옮기는 것이 분명히 필요하며, 강화학습 (RL)의 일반화 (generalization)에 대한 저의 회의론에도 불구하고, 이는 모델의 전반적인 추론 능력에 대한 일반화 이점을 제공한다는 측면에서 상상할 수 있는 가장 유망한 데이터셋 (most promising datasets) 중 하나입니다.

2. 둘째, 일상적인 워크플로 (workflows)와 관련된 역량을 다루는 데이터셋입니다. 과학자가 세포 배양 접시(cell culture plate)나 웨스턴 블롯(Western blot)과 같은 실험 과정이나 결과물의 사진을 찍어 Claude에게 질문하는 상황을 상상해 보십시오. 프런티어 모델 (Frontier models)은 이러한 질문, 특히 멀티모달 (multimodal) 요소가 포함된 질문에 대해 여전히 상당히 취약합니다. 하지만 과학적 발견의 가속화를 위해서는 이러한 역량이 분명히 필요합니다. 과학의 자동화를 꿈꾸기 전에, 우리는 이러한 기초적이고 일반적인 역량들을 보강하는 것부터 시작해야 합니다.

이 두 가지 외에도, 우리는 인접 분야(화학, 재료 과학 등)로 확장하고, 나아가 헬스케어 및 화이트칼라 사무직과 같이 경제적 적용 가능성이 더 직접적인 분야로까지 넓혀 나가기를 희망합니다.

데이터가 필요한 연구실(labs)이 있다면 적극적으로 연락해 주시기를 강력히 권장합니다. 우리는 업계 표준의 가격과 조건을 제공하며, 앞서 말씀드렸듯이 저는 이 프로세스가 어떻게 작동하는지, 좋은 데이터란 무엇인지, 그리고 우리의 데이터를 귀하의 학습 프로세스에 문제없이 상류 (upstream)로 통합할 수 있음을 어떻게 설득력 있게 증명할 수 있는지를 잘 알고 있습니다. 제 DM은 언제나 열려 있습니다!