Intology의 Locus는 연산량(compute)을 64배 확장함으로써 PostTrainBench에서 인간이 튜닝한 Qwen3-1.7B를 앞질렀으며(51.6% 대 49.4%), 이는 AI 연구 에이전트(research agents)에게 더 긴 타임스케일(timescales)이 필요함을 보여줍니다.

Intology의 Locus는 PostTrainBench에서 51.6%를 기록하며, 공식적으로 인간이 튜닝한 Qwen3-1.7B의 49.4%를 넘어섰습니다. 이러한 승리는 벤치마크의 연산 제한(compute cap)을 제거하고, 실행당 70시간에서 4,500 H100 시간으로 확장함으로써 달성되었습니다.

주요 사실

• Locus는 51.6%를 기록, 인간이 튜닝한 Qwen3-1.7B의 49.4%와 대조됨
• PostTrainBench+ 예산: 4,500 H100 시간 대 기준점(baseline) 70 시간
• 에이전트는 단일 H100에서 10시간을 실행하는 것이 아니라, 클러스터 전체에서 100시간 동안 실행됨
• 인간의 사후 학습(post-training) 튜너를 능가한 최초의 공개 AI 에이전트
• 설정당 단일 실행; 안정성은 공개되지 않음

Intology의 자동화된 연구 시스템인 Locus는 공식적으로 인간이 튜닝하여 출시된 Qwen3-1.7B를 능가하는 모델을 사후 학습(post-trained)시켰으며, 49.4% 대비 51.6%의 점수를 기록했습니다 @rohanpaul_ai에 따르면 이 결과는 다른 모델의 사후 학습을 개선하는 특정 작업에서 AI 에이전트가 인간 연구자를 능가함을 보여주는 최초의 공개 시연입니다.

벤치마크 및 제약 사항

PostTrainBench는 다른 모델을 사후 학습(post-train)하는 AI 에이전트의 점수를 측정하는 데 사용되는 벤치마크로, 각 에이전트에게 H100 1대와 10시간을 부여합니다. 이는 실행당 약 10 H100 시간이라는 매우 타이트한 예산으로, 에이전트가 사후 학습 파이프라인(post-training pipeline)을 얼마나 효율적으로 탐색할 수 있는지를 측정하기 위해 설계되었습니다.

Intology의 차별화된 방식은 해당 제한을 제거하고 에이전트가 클러스터 전체에서 100시간 동안 실행되도록 하는 것이었습니다. 따라서 Intology는 상한선을 높이고 이를 PostTrainBench+라고 명명했으며, 총 예산을 70 H100 시간에서 4,500 시간으로 늘렸습니다. 64배 증가한 연산량(compute)은 벤치마크가 측정하는 대상을 변화시킵니다. 즉, 단순한 효율성이 아니라 긴 실험 루프(experimental loop)를 지속할 수 있는 능력을 측정하게 됩니다.

여기서 측정되는 능력은 지속 가능한 실험적 탐색(sustained experimental search)입니다. 즉, 컴퓨팅 자원을 할당하고, 병렬 작업을 실행하며, 평가 결과를 읽고, 약한 분기(weak branches)를 포기하며, 유망한 분기를 확장(scaling)하는 능력을 의미합니다. 10시간의 시간 동안 에이전트는 겨우 한두 번의 학습 실행(training runs)을 완료할 수 있습니다. 하지만 여러 GPU를 사용하여 100시간 동안 실행한다면, 각 평가로부터 학습하며 수십 번의 반복(iteration)을 수행할 수 있습니다.

이것이 자동화된 연구에 의미하는 바

이 결과는 AI 주도 연구의 병목 현상이 알고리즘의 영리함이 아니라 타임스케일(timescale)에 있음을 시사합니다. 실제로 탐색할 수 있는 컴퓨팅 예산이 주어졌을 때, Locus는 인간 튜너가 놓친 설정(configurations)들을 찾아냈습니다. PostTrainBench에서의 2.2%포인트 격차는 절대적인 수치로는 미미하지만, 중요한 것은 변화의 방향성(direction of the delta)입니다. 즉, 이전에는 인간의 전문 영역으로 간주되었던 작업에서 AI 시스템이 인간 베이스라인을 능가했다는 점입니다.

설정당 한 번의 실행(One run per setting)은 심각한 제한 사항입니다. 출처에서는 얼마나 많은 시드(seeds)가 실행되었는지, 결과가 무작위 초기화(random initializations)에 대해 안정적인지, 혹은 동일한 완화된 예산 하에서 Locus가 다른 자동화된 연구 시스템과 비교했을 때 어떠한지 공개하지 않았습니다. 회사 측은 전체 방법론을 공개하지 않았습니다.

그럼에도 불구하고, 이는 자동화된 연구 시스템이 연구 결정이 복리로 작용하는 타임스케일에서 평가되어야 한다는 강력한 근거가 됩니다. 만약 이 추세가 유지된다면, 차세대 사후 학습(post-training) 파이프라인은 며칠 동안 작업하는 인간이 아니라, 몇 주 동안 실행되는 AI 에이전트에 의해 설계될 수도 있습니다.

주목해야 할 점

Intology가 여러 시드에 걸친 재현 실행(replication runs)을 발표하는지, 그리고 PostTrainBench 유지 관리자들이 공식 컴퓨팅 상한선을 높이거나 '연구 타임스케일(research timescale)' 트랙을 추가하는 방식으로 대응하는지 지켜봐야 합니다. 만약 Locus의 우위가 여러 시드에 걸쳐 유지된다면, 경쟁사들도 2분기 이내에 유사한 장기적 연구 에이전트(long-horizon research agents)를 선보일 것으로 예상됩니다.

원문은 gentic.news에 게시되었습니다.