Princeton 연구진의 최근 연구는 **AI 에이전트 (AI agents)**가 현재 할 수 있는 일과 아직 할 수 없는 일 사이의 명확한 경계선을 그었습니다. 이들은 머신러닝 (Machine Learning) 연구 공학 과제는 능숙하게 해결하지만, 오픈 사이언스 (Open Science), 즉 새로운 질문을 공식화하고 미리 정의된 목표 없이 이를 추구해야 하는 문제가 요구될 때는 역부족임을 보여주었습니다.

이러한 구분은 중요합니다. 왜냐하면 "과학을 수행하는 AI"에 대한 낙관론의 상당 부분이 에이전트가 이미 어떤 버튼을 눌러야 하는지 알고 있는 평가 방식에 의존하고 있기 때문입니다. 그 버튼이 사라지는 순간, 행동은 완전히 달라집니다.

요약 (TL;DR)

• Princeton 연구진은 ML 연구 공학 과제와 오픈 사이언스 과제에서 AI 에이전트의 성능을 평가했습니다.
• 에이전트는 코드 디버깅 (Debugging), 파이프라인 (Pipeline) 최적화, 명확한 지침이 있는 실험 재현과 같이 범위가 제한된 과제에서는 좋은 성능을 보입니다.
• 하지만 과제가 미리 정의된 목표나 성공 지표 없이 스스로 가설을 생성해야 할 때는 성능이 하락합니다.
• 이 발견은 현재의 에이전트가 오늘날 자율적인 과학 연구자로서 행동할 수 있는지에 대해 의문을 제기합니다.
• 이는 소프트웨어 및 연구 과제에서의 에이전트 자율성에 관한 2025-2026년 평가 흐름에 합류하는 결과입니다.
• 실행을 잘하는 것과 새로운 것을 발견하는 것 사이의 격차가 에이전트형 AI (Agentic AI)의 다음 장애물로 부상하고 있습니다.
• 이 맥락은 미국이 Genesis Mission을 통해 과학을 위한 AI에 50억 달러 이상을 할당하는 시점에 나왔습니다.

무슨 일이 일어났는가

Princeton 연구에 대한 보고서는 **AI 에이전트 (AI agents)**에게 할당된 두 가지 범주의 작업에 대한 평가를 설명합니다. 한쪽은 머신러닝 (Machine Learning) 연구 공학(고장 난 스크립트 디버깅, 특정 지표 달성을 위한 하이퍼파라미터 (Hyperparameters) 조정, 발표된 결과 재현)이며, 다른 한쪽은 오픈 사이언스 (Open Science)로, 에이전트가 평가자가 이미 알고 있는 정답 없이 어떤 질문이 연구할 가치가 있는지, 그리고 그것을 어떻게 테스트할지를 스스로 결정해야 하는 분야입니다.

결과는 대칭적이지 않습니다. 첫 번째 범주에서 에이전트들은 중간 정도의 숙련도를 가진 인간 엔지니어와 유사하게 일관된 동작을 보입니다. 두 번째 범주에서는 성능이 저하됩니다. 에이전트들은 생산성이 낮은 접근 방식을 반복하거나, 사소한 해결책으로 수렴하거나, 혹은 탐색을 언제 멈춰야 할지 단순히 알지 못하는 경향을 보입니다.

배경 및 역사

이 격차는 갑자기 나타난 것이 아닙니다. 2023년부터 SWE-bench (소프트웨어 저장소의 실제 이슈 해결용) 및 GAIA (일반적인 추론 및 도구 사용 작업용)와 같은 벤치마크 (Benchmarks)들은 작업에 검증 가능한 성공 기준이 있을 때 에이전트가 빠르게 발전한다는 것을 보여주었습니다. 또한 METR 조직은 평가가 거듭될수록 에이전트가 맥락을 놓치기 전까지 자율적으로 유지할 수 있는 "작업 지평 (Task horizon)"이 어떻게 성장하는지를 기록해 오고 있습니다.

그 반대편에는 과학을 엔드 투 엔드 (end-to-end)로 자동화하려는 지금까지 가장 야심 찬 시도가 있습니다. 예를 들어 Sakana AI의 _The AI Scientist_와 같은 프로젝트는 2024년에 에이전트가 아이디어를 생성하고, 실험을 실행하며, 논문을 작성하고, 심지어 검토까지 수행하는 파이프라인을 제안했습니다. 그 약속은 매력적이었지만, 현재 Princeton이 확인하고 있는 것과 동일한 문제를 드러냈습니다. 즉, 무엇이 "좋은" 것인지 말해줄 외부 심판이 없다면 에이전트는 나침반을 갖지 못한다는 점입니다.

이 격차는 바로 객관적인 지표가 사라지는 지점에서 발생합니다.

이 관심사는 단지 학술적인 것에 그치지 않습니다. 백악관은 과학 연구에 적용되는 AI 이니셔티브인 Genesis Mission을 위해 2026년 7월에 50억 달러 이상을 발표했으며, STAT과 같은 매체는 이미 해당 계획 내에서 AI와 과학의 다른 분야 간의 균형에 대해 의문을 제기했습니다. 오늘날 에이전트형 AI (agentic AI)가 실제로 무엇을 잘하고 무엇을 못하는지 아는 것은 그 자금을 어디로 투입하는 것이 적절한지를 직접적으로 결정합니다.

기술적 세부 사항 및 성능

이 발견의 기술적 핵심은 보상 구조 (reward structure)에 있습니다. 연구 공학 (research engineering) 작업은 거의 항상 명시적인 목적 함수 (objective function)를 가집니다. 즉, 손실 (loss)을 줄이거나, 정확도 임계값을 넘거나, 테스트를 통과하는 것입니다. 에이전트는 반복(iterate)할 수 있고, 그 수치에 따라 결과를 측정하며, 다음 시도를 조정할 수 있습니다. 이는 현재의 에이전트형 언어 모델 (agentic language models)들이 훈련되는 바로 그 유형의 루프입니다.

오픈 사이언스 (Open Science) 과제는 그러한 신호를 제공하지 않습니다. 에이전트는 무엇을 질문할지 먼저 결정해야 하고, 그 다음에는 이를 어떻게 검증할지 설계해야 하며, 게다가 얻은 결과가 흥미로운지까지 판단해야 합니다. 이 세 단계의 도약(목표 정의, 실험 설계, 발견 사항 평가)이야말로 숙련된 실행가 (executor)와 연구자 (researcher)를 구분 짓는 핵심 요소입니다.

| 과제 유형 | 전형적인 예시 | 에이전트에게 요구되는 사항 | 관찰된 성능 |
| :--- | :--- | :--- | : |
| 연구 공학 (Research Engineering) | 훈련 파이프라인 (pipeline) 최적화, 스크립트 디버깅, 발표된 베이스라인 (baseline) 재현 | 지침을 따르고 이미 정의된 지표 (metric)에 따라 반복 수행 | 높음, 주니어에서 세미 시니어 엔지니어 수준에 근접 |
| 오픈 사이언스 (Open Science) | 독창적인 가설 제안, 이를 검증할 실험 설계, 측정 대상 결정 | 스스로 목표를 정의하고 명확한 성공 신호가 없는 모호함을 견디는 것 | 낮음, 방향을 잃거나 사소한 해결책으로 수렴함 |

💭 핵심: 에이전트가 "과학을 모르는" 것이 아니라, 사전에 아무도 알려주지 않는다면 언제 멈춰야 할지, 무엇을 유효한 결과로 간주해야 할지를 모르는 것입니다.

직접 테스트해 보는 방법

아이디어를 소규모로 재현하기 위해 원본 연구에 접근할 필요는 없습니다. 본인의 에이전트를 위한 두 가지 작업 세트(하나는 제한된 범위, 하나는 개방된 범위)를 구성하고 두 세트 간의 결과 분산 (variance)을 비교하는 것만으로도 충분합니다.

from dataclasses import dataclass

@dataclass
...

본인의 에이전트가 동일한 패턴을 보이는지 확인하려면, 동일한 작업 세트를 여러 번 실행하고 제한된 작업과 개방된 작업 사이의 결과 분산을 비교해 보십시오. 만약 개방된 작업에서의 분산이 훨씬 더 크다면, 소규모 규모에서 해당 발견을 재현한 것입니다.
명확한 지표 (metric)야말로 실행가와 연구자를 가르는 기준입니다.

영향 및 분석

이 발견이 과학 분야에서 AI가 무용하다는 것을 의미하지는 않습니다. 다만 오늘날 AI가 어디에 적합한지를 말해줍니다. 파이프라인 (pipeline)을 최적화하거나, 데이터셋 (dataset)을 정제하거나, 이미 발표된 실험을 재현하는 에이전트 (agent)는 이미 연구자의 실제 시간을 절약해 줍니다. 하지만 아직 신뢰할 수 있는 방식으로 무엇을 연구할지, 그리고 그것이 왜 중요한지를 결정하는 일은 수행하지 못하고 있습니다.

이러한 미묘한 차이는 최근의 투자 담론과 충돌합니다. 미국의 Genesis Mission이나 여러 국가의 유사한 발표들은 AI를 과학의 일반적인 가속기로 제시하며, 단순 작업 (grunt work)의 자동화와 발견 (discovery)의 자동화를 항상 구분하지는 않습니다. Princeton의 연구는 오늘날 과학적 프로세스의 어느 부분에 에이전트를 투입하는 것이 적절할지 결정해야 하는 이들에게 유용한 현실 점검 역할을 합니다.

⚠️ 주의: 코드 벤치마크 (benchmark)에서 성능이 좋은 에이전트라고 해서, 어떤 문제를 해결할지 선택하는 데 있어서도 동일하게 좋은 성능을 낼 것이라고 보장할 수는 없습니다. 이는 서로 다른 두 가지 능력이며, 평가 방식도 다릅니다.

향후 전망

다음 세대의 평가 방식은 두 가지 유형의 과업을 하나의 점수로 혼합하는 것을 중단하고, METR 유형의 평가들이 이미 요구해 온 것처럼 이를 분리하여 보고하기 시작할 것으로 예상됩니다. 또한 "과학적" 에이전트를 홍보하는 연구소들도, 첫 번째(엔지니어링)를 두 번째(탐색)인 것처럼 판매하지 않기 위해 자신들의 파이프라인 중 어느 부분이 재현 가능한 엔지니어링 (reproducible engineering)이고 어느 부분이 진정한 탐색 (genuine exploration)인지를 별도로 보여주기 시작할 가능성이 높습니다.

📖 Telegram 요약: 요약 보기

직접 시도해 보세요: 당신이 가장 좋아하는 에이전트를 위해 두 가지 과업을 만드세요. 하나는 명확한 지표 (metric)가 있는 것이고, 다른 하나는 없는 것입니다. 그리고 각각의 과업에서 에이전트가 얼마나 빨리 "포기"하는지 비교해 보세요.

자주 묻는 질문 (FAQ)

이 문맥에서 "연구 엔지니어링 (research engineering)"이란 무엇을 의미하나요?

측정 가능한 목표가 있는 머신러닝 (machine learning) 과업을 의미합니다. 예를 들어 코드 최적화, 하이퍼파라미터 (hyperparameter) 조정, 이미 발표된 실험의 재현 등이 이에 해당합니다. 결과와 비교할 수 있는 지표 (metric)가 존재합니다.

에이전트가 복잡한 코드 벤치마크를 이미 해결하고 있음에도 불구하고, 왜 오픈 사이언스 (open science)에서는 실패하나요?

왜냐하면 복잡한 코드를 해결하는 것은 여전히 알려진 기준(테스트 통과 여부)에 맞추어 실행하는 과정이기 때문입니다. 반면 오픈 사이언스 (Open Science)는 그 기준을 적용하기 전에 먼저 정의할 것을 요구합니다.

이것이 AI가 과학을 수행하는 데 유용하지 않다는 의미인가요?

아니요. 이는 현재의 AI가 연구 질문을 생성하는 도구로서보다는, 과학적 프로세스의 기계적인 단계들을 가속화하는 가속기 (Accelerator)로서 더 신뢰할 수 있다는 것을 의미합니다.

유사한 발견을 보여주는 다른 연구들은 무엇이 있나요?

METR의 자율성 평가나 Sakana AI의 The AI Scientist 프로젝트와 같은 사례들은 유사한 패턴을 기록했습니다. 즉, 지표 (Metric)가 있는 작업에서는 우수한 성능을 보이지만, 가이드가 없는 탐색 (Exploration)에서는 결과가 더 약하게 나타납니다.

제 에이전트가 이러한 한계를 가지고 있는지 어떻게 평가할 수 있나요?

동일한 에이전트를 제한된 작업 (Bounded tasks) 세트와 개방형 작업 (Open tasks) 세트에 각각 실행해 보고, 두 세트 사이의 결과의 분산 (Variance)과 품질을 비교해 보십시오.

에이전트들이 언제쯤 이 격차를 줄일 수 있을 것으로 예상되나요?

아직 검증 가능한 날짜는 없습니다. 다만 측정 가능한 것은 진전 상황입니다. SWE-bench, GAIA와 같은 벤치마크 (Benchmark) 및 METR의 평가를 추적하면 분기별로 구체적인 신호를 얻을 수 있습니다.

참고 문헌

• MSN의 Princeton 연구 보도: 연구 공학 분야의 AI 에이전트와 오픈 사이언스 간의 차이에 대한 발견을 요약함.
• Genesis Mission 공식 발표: 과학에 적용되는 AI를 위해 미국 정부가 투입하는 50억 달러 이상의 예산.
• 백악관의 과학 청사진에 관한 STAT 보도: 연방 정책에서 다른 과학 분야 대비 AI의 비중에 대한 맥락.
• Princeton University: 이번 평가를 수행한 기관의 공식 사이트.

📱 이 콘텐츠가 마음에 드시나요? 기술, AI 및 개발 분야의 가장 중요한 소식을 매일 게시하는 저희 Telegram 채널 @programacion에 참여하세요. 빠른 요약과 매일 새로운 콘텐츠를 제공합니다.