과학적 컴퓨팅 에이전트의 두 가지 패러다임: 추상화, 개방성, 그리고 "쓴 교훈 (The Bitter Lesson)"

최근 몇 년 동안 대규모 언어 모델 (LLMs)의 급격한 진화는 "AI + 과학적 컴퓨팅 (Scientific Computing)"을 매우 활발한 최전선으로 만들었습니다. 분자 역학 (molecular dynamics), 재료 및 약물 설계, 또는 양자 컴퓨팅 (quantum computing) 분야를 막론하고, 수많은 플랫폼이 자연어 인터페이스와 엄격한 과학적 계산을 연결하려고 시도하고 있습니다.

사용자 경험 관점에서 볼 때, 이러한 접근 방식은 진입 장벽을 크게 낮추어 비전문가도 표준화된 실험 워크플로우 (workflows)를 손쉽게 수행할 수 있게 해줍니다. 하지만 우리의 초점을 _"표준 실험을 빠르게 실행할 수 있는가?"_에서 _"개방형 과학적 탐구를 지원하는가?"_로 옮기면, 추상화 경계 (abstraction boundaries)와 시스템 개방성 (system openness)에 관한 극명한 아키텍처적 차이가 나타납니다.

현재 과학적 컴퓨팅 에이전트 (Scientific Computing Agent) 시스템은 크게 두 가지 기술적 패러다임으로 분류할 수 있습니다:

1. 캡슐화된 시스템 (Encapsulated Systems): 제어된 클라우드 샌드박스 (sandboxes) 내에서 실행되며, 일반적으로 Web UI를 통해 접근 가능한 사전 구성된 템플릿 워크플로우를 제공합니다.
2. 개방형 및 프로그래밍 가능한 시스템 (Open & Programmable Systems): 범용 컴퓨팅 환경 내에서 작동하며, 이러한 시스템(Claude Code 또는 Codex와 같은)은 코드 저장소 (code repositories), 런타임 (runtimes), 그리고 외부 툴체인 (toolchains)과 깊게 통합됩니다.

두 방식 모두 대화형 인터페이스에 의존하지만, 핵심적인 차이는 그 서식지(habitat)에 있습니다. 에이전트가 클라우드 템플릿의 폐쇄된 생태계에 살고 있는가, 아니면 개방적이고 맞춤 설정이 가능한 컴퓨팅 공간에 살고 있는가의 차이입니다.

추상화 경계 vs. 혁신을 위한 공간

모든 소프트웨어 시스템은 사용 편의성과 유연성 사이에서 균형을 맞춰야 합니다. 표준화된 과학적 과업의 경우, 캡슐화된 시스템이 빛을 발합니다. 하지만 연구 질문이 표준 템플릿에서 벗어날 때, 복잡성을 줄여주던 바로 그 추상화가 병목 현상 (bottleneck)이 됩니다.

다음은 두 패러다임의 명확한 비교입니다:

차원 (Dimension)	캡슐화된 시스템 (Encapsulated Systems)	개방형 및 프로그래밍 가능한 시스템 (Open & Programmable Systems)
대표적인 예시	도메인 특화 웹 기반 AI 플랫폼	Claude Code, Codex와 같은 범용 에이전트
...

**양자 컴퓨팅 (quantum computing)**을 예로 들어보겠습니다. 표준적인 변분 양자 알고리즘 (Variational Quantum Algorithms, VQAs)의 경우, 캡슐화된 웹 플랫폼은 양자 회로 구성 (quantum circuit construction)과 파라미터 최적화 (parameter optimization)부터 결과 시각화 (result visualization)에 이르기까지 전체 파이프라인 (pipeline)을 쉽게 처리할 수 있습니다. 복잡한 엔지니어링 세부 사항을 몇 개의 사전 구축된 템플릿 (templates)으로 응축함으로써, 사용자는 최소한의 인지 부하 (cognitive load)로 실험을 완료할 수 있습니다.

하지만 연구자의 요구사항이 정해진 경로를 벗어나는 순간, 이러한 추상화 (abstraction)는 벽에 부딪힙니다. 만약 연구자가 새로운 데이터 인코딩 방식, 고도로 맞춤화된 양자 게이트 구조 (quantum gate structure), 그리고 비표준 손실 함수 (loss function)를 결합하고자 한다고 가정해 봅시다. 이러한 맞춤형 아키텍처 (bespoke architecture)는 기존 템플릿에 매핑되지 않기 때문에, 캡슐화된 시스템의 API는 이를 단순히 거부합니다.

대조적으로, **개방형 프로그래밍 가능한 시스템 (open programmable systems)**은 문제의 형태를 미리 정의하지 않고 단지 컴퓨팅 프리미티브 (computing primitives)만을 제공하기 때문에 이러한 새로운 조합들을 지원합니다. 이러한 환경에서는 회로 구성 (circuit construction), 훈련 루프 (training loops), 손실 함수 (loss functions), 그리고 데이터 파이프라인 (data pipelines)이 모두 가공되지 않은 코드 (raw code) 형태로 노출됩니다. 에이전트(또는 연구자)는 새로운 Python 모듈을 자유롭게 임포트 (import)하거나, 훈련 루프를 변경하고, 커스텀 그래디언트 추정 (gradient estimation) 방법을 주입하거나, 양자 시뮬레이터 (quantum simulator)를 외부 데이터 파이프라인과 결합할 수 있습니다. 시스템이 이러한 단계들을 분할 불가능한 블록으로 하드코딩 (hardcoded)하지 않았기 때문에, 캡슐화된 시스템을 망가뜨리는 문제라도 개방형 시스템에서는 그저 코드를 작성하는 일상적인 과정일 뿐입니다.

프로젝트 컨텍스트와 정보 지평 (Project Context and the Information Horizon)

아키텍처 (architecture)가 시스템의 골격을 형성한다면, 컨텍스트 (context)는 에이전트의 지평 (horizon)을 형성합니다. 에이전트 추론 (reasoning)의 품질은 에이전트가 접근할 수 있는 정보의 범위와 불가분하게 연결되어 있습니다.

실제 과학적 컴퓨팅 (scientific computing) 환경에서 프로젝트의 "상태 (state)"는 결코 몇 개의 채팅 프롬프트나 고립된 데이터 업로드로 정의되지 않습니다. 그것은 저장소 디렉토리 구조, 과거의 스크립트, 로컬 테스트 데이터셋, 관련 PDF 논문, 버전 관리 이력, 그리고 과거의 에러 로그가 얽혀 있는 거대하고 지속적인 정보의 망입니다.

클라우드 샌드박스 (cloud sandbox) 격리에 의해 제약된 캡슐화된 에이전트 (encapsulated Agent)의 지평은 보통 현재의 일시적인 세션으로 제한되며, 상태에 대한 이해는 파편화되어 있습니다. 반대로, 개방형 프로그래밍 가능 시스템 (open programmable system)에서 Claude Code와 같은 에이전트는 컴퓨팅 환경 내에서 일급 시민 (first-class citizen)으로서 작동합니다. 이 에이전트는 전체 프로젝트 디렉토리의 실시간 상태를 직접 읽을 수 있습니다. 만약 사용자가 마지막 실행을 바탕으로 초기화 파라미터 (initialization parameter)를 수정해달라고 요청한다면, 개방형 에이전트는 과거 로그를 가져오고, 코드 버전을 비교 (diff)하며, 전체 프로젝트 컨텍스트 (context)에 기반한 신뢰할 수 있는 추론을 실행할 수 있습니다.

이 차이는 근본적입니다. 에이전트가 단일하고 고립된 상호작용 속에 갇혀 있는가, 아니면 실제 연구 프로젝트의 연속적인 정보 네트워크 속에 내장되어 있는가의 차이입니다.

코드 생성에서 워크플로우 오케스트레이션 (Workflow Orchestration)으로

컨텍스트 (context)가 추론을 결정하지만, 행동이 결과를 이끌어냅니다. 에이전트가 글로벌 상태 (global state)를 파악하고 나면, 그 능력은 단순한 코드 생성을 넘어 시스템 수준의 오케스트레이션 (orchestration)으로 확장됩니다. 이것이 두 패러다임 사이의 두 번째 거대한 격차인 에이전시 (agency)의 폭입니다.

과학적 컴퓨팅은 단일 알고리즘 스크립트를 작성하는 것에 그치는 경우가 드뭅니다. 이는 대개 여러 독립적인 도구에 걸쳐 있는 복잡한 워크플로우 (workflow)입니다. 개방형 패러다임 하에서 에이전트는 네이티브 프레임워크 (native frameworks)를 사용하여 로직을 작성할 뿐만 아니라, 시스템 수준의 작업들을 실행합니다. 에이전트는 고성능 컴퓨팅 (HPC) 클러스터에 SSH로 접속하여 작업을 제출하고, GPU 사용량을 모니터링하기 위해 크론 잡 (cron jobs)을 설정하며, 스택 트레이스 (stack traces)를 읽어 충돌한 실험을 자동으로 재시도하고, 실행 후 데이터를 정리하며, 차트를 생성하고, 심지어 초안 원고를 작성하기까지 합니다.

캡슐화된 시스템(encapsulated systems)이 에이전트(Agent)를 독점적인 루프(proprietary loop) 안에 가두는 반면, 개방형 시스템(open systems)은 에이전트에게 플랫폼과 도구를 넘나드는 자율성을 부여하여 이들을 진정한 협업자로 변화시킵니다.

범용이 특화된 것을 압도한다: 에이전트 시대의 "쓴 교훈 (The Bitter Lesson)"

캡슐화된 시스템에서 개방형 시스템으로, 그리고 특화된 클라우드 플랫폼에서 범용 프로그래밍 환경으로의 이러한 전환은 Richard Sutton의 유명한 에세이인 _"The Bitter Lesson (쓴 교훈)"_과 완벽하게 궤를 같이합니다. Sutton은 AI의 역사 전반에 걸쳐 인간의 도메인 지식을 사용하여 세심하게 수작업으로 만들어진 특화된 방법론(specialized methods)들이, 결국 대규모 연산(massive computation)을 활용하는 범용 방법론(general methods)에 의해 추월당한다는 점을 관찰했습니다.

이 철학은 과학적 컴퓨팅(scientific computing) 분야의 AI에도 전적으로 적용됩니다. 오늘날 많은 플랫폼이 특정 니치 도메인을 위한 고도로 특화된 에이전트(Agents)를 구축하기 위해 엄청난 자원을 쏟아붓고 있으며, 맞춤형 UI와 경직된 워크플로 템플릿(workflow templates)을 설계하고 있습니다. 단기적으로 이러한 방식은 매우 매끄러운 데모를 보여줍니다.

하지만 파운데이션 모델(foundation models)의 능력이 기하급수적으로 확장됨에 따라, 범용 에이전트(general-purpose Agents, 예: Claude Code 또는 Codex)는 압도적인 강력함을 갖추고 있습니다. 이들은 특화된 UI 래퍼(wrapper)를 필요로 하지 않습니다. 이들을 표준화된 개방형 컴퓨팅 환경에 배치하기만 하면, 이들의 일반화된 추론(generalized reasoning) 능력을 통해 즉석에서 도메인 문서를 읽고, 저수준 과학 라이브러리(low-level scientific libraries)를 호출하며, 복잡한 분석을 독립적으로 조율할 수 있습니다.

도메인 특화 에이전트(domain-specific Agents)의 세심하게 하드코딩된 워크플로(workflows)는 빠르게 도태될 위험이 있습니다. 종종 이들의 도메인 역량은 파운데이션 모델이 이루어내는 일반화된 도약의 속도를 따라잡는 데 어려움을 겪습니다.

이를 인식하여, 새로운 세대의 과학적 컴퓨팅 프레임워크들은 개방형 패러다임 (open paradigm)에 발을 맞추고 있습니다. 예를 들어, 양자 컴퓨팅 (quantum computing) 분야에서 TensorCircuit-NG는 일반적인 에이전트 (Agent) 경로를 수용하는 대표적인 사례입니다. 이 프레임워크는 전통적인 폐쇄형 플랫폼 UI 래퍼 (UI wrappers)를 버리고 네이티브 AI 스택 (native AI stack)을 채택하여, 즉시 사용 가능한 스킬 세트 (skill suites)와 함께 초고성능 저수준 프리미티브 (low-level primitives)를 제공합니다. 이들의 핵심 설계 철학은 간단합니다. 범용 에이전트 (general-purpose Agents)가 개방된 환경 내에서 복잡한 과학을 자유롭게 탐구하고 오케스트레이션 (orchestrate)할 수 있도록 권한을 부여하는 것입니다.

결론

캡슐화된 시스템 (Encapsulated systems)과 개방형 프로그래밍 가능 시스템 (open programmable systems)은 두 가지 뚜렷한 기술적 철학을 나타냅니다. 전자는 고수준 추상화 (high-level abstraction)를 통해 진입 장벽을 낮추며, 교육 및 표준 재현성 (standard reproducibility) 측면에서 중요한 역할을 합니다.

하지만, 미개척 분야이자 빠르게 변화하는 최첨단 과학 (frontier sciences)에서는 시스템의 개방성과 범용성을 유지하는 것이 무엇보다 중요합니다. 점점 더 유능해지는 범용 에이전트 (general Agents)가 경직된 추상화 경계에서 벗어나, 실제 저수준 엔지니어링 환경 (low-level engineering environments)에 깊이 몰입할 수 있도록 허용하는 것이 AI가 과학적 컴퓨팅을 진정으로 혁신할 수 있는 가장 지속 가능한 경로입니다.