제3의 계층: AI가 새로운 종류의 AI 시스템을 생성하기 시작할 때 무슨 일이 벌어질까?

AI를 더 좋게 만드는 것에서, AI가 더 나은 시스템을 생성하는 것으로. 이미 작동하는 것, 연구가 실제로 증명하는 것, 그리고 우리가 아직 입증할 수 없는 것들.

긴 글: 논문과 코드를 얼마나 깊이 따라가느냐에 따라 약 45분에서 60분 소요.

연구 스냅샷: 2026년 10월 17일.

용어에 대한 참고 사항: '제3의 계층(The Third Layer)'은 본 기사에서 사용되는 가설적 개념입니다. 이는 확립된 과학 용어나 AI 개발의 보편적으로 인정되는 단계가 아닙니다. 이 목적은 탐구할 가치가 있는 질문에 이름을 붙이는 것입니다.

파트 I: AI 다음에는 무엇이 올지 궁금했던 모든 사람들을 위해

1. 내 지갑보다 훨씬 큰 것 같은 질문으로 시작했습니다.

저는 AI 비서와 장기간 지속되는 자율 에이전트(autonomous agents)에 대해 논의하고 있었습니다.

대화는 메모리, 아키텍처(architecture), 그리고 시스템이 리소스를 낭비하거나 중요한 것을 모두 잊지 않고 매우 오랜 기간 동안 운영될 수 있는 방법에 대한 것이었습니다.

그러고 나서 저는 다른 질문을 던졌습니다:

AI가 단순히 기존 시스템을 개선하는 것을 멈추고, 인간에 의해 개별적으로 설계되지 않은 완전히 새로운 시스템을 생성하기 시작하면 무슨 일이 벌어질까?

더 나은 복사본이 아닙니다.

더 긴 컨텍스트 윈도우(context window)를 가진 또 다른 모델도 아닙니다.

새로운 시스템 프롬프트와 효율성에 대한 동기 부여 연설을 하는 동일한 에이전트도 아닙니다.

제가 말하는 것은 문제를 접하고, 현재의 아키텍처가 불충분하다는 것을 깨닫고, 그 문제를 해결하기 위해 다른 시스템을 생성하며, 결과를 평가하고, 배운 것을 사용하여 무언가를 더 생성하는 시스템입니다.

이것을 상상해 보세요:

당신은 범용적인(general-purpose) 하나의 시스템을 만듭니다.

그 시스템은 문제 탐색 방법, 해결책 제안, 소프트웨어 생성, 실험 실행, 그리고 결과 평가 방법을 알고 있습니다.

어느 날, 현재의 아키텍처가 제대로 처리하지 못하는 문제를 접하게 됩니다.

모든 문제에 맞추기 위해 끝없이 자신을 수정하는 대신, 특화된 시스템을 만듭니다.

시스템 A는 재료 연구를 위해 설계되었습니다.

시스템 B는 복잡한 네트워크 분석을 위해 설계되었습니다.

시스템 C는 보안 검증을 위해 설계되었습니다.

시스템 D는 원래의 시스템이 제대로 공식화하는 방법조차 몰랐던 문제를 발견합니다.

원래의 시스템에는 A, B, C, D를 손으로 작성한 완전한 구현체가 포함되어 있지 않았습니다.

그것은 이러한 시스템들을 설계하고, 생성하고, 테스트하고, 선택할 수 있게 하는 메커니즘을 포함하고 있었습니다.

이것은 단순히 AI에게 파이썬 코드를 쓰라고 요청하는 것과는 매우 다른 개념입니다.

그리고 네, 제가 처음 생각한 것은 다음과 같았습니다. '좋아, 이건 이해할 수 있어. 머신러닝 박사 학위가 없어도.' 😂

그것이 중요합니다.

만약 우리가 이 아이디어를 일반 개발자가 충분히 이해할 만큼 명확하게 설명할 수 없다면, 우리 스스로 그것을 이해하고 있는지 검토해 봐야 할 것입니다.

1. 주기율표 비유

화학을 사용해 봅시다.

우리는 화학 원소가 우리가 그것들을 식별하는 능력과 독립적으로 존재한다는 것을 알고 있습니다.

과학자들은 원소들을 정리하고, 그 특성을 설명하며, 이미 알려진 원소들 너머에 무엇이 존재할지 예측하는 데 도움을 주는 모델을 개발했습니다.

일부 예측은 나중에 실험적으로 확인되었습니다.

중요한 부분은 누군가가 인상적인 예측을 작성했다는 것이 아닙니다.

중요한 부분은 그 예측이 실제 현상과 연결되었고 검증을 통과했다는 것입니다.

이제 AI 아키텍처에서 비슷한 일이 일어나는 것을 상상해 보세요.

오늘날 연구자들은 가능한 알고리즘, 모델, 에이전트 아키텍처, 메모리 전략, 검색 방법 및 조정 메커니즘의 공간을 탐구하고 있습니다.

그 공간의 상당 부분은 아직 탐험되지 않았습니다.

충분히 유능한 시스템은 아무도 미리 특별히 설계하지 않은 아키텍처를 발견할 수 있습니다. 놀라울 정도로 잘 작동하는 메커니즘의 조합이나, 에이전트 집합을 구성하는 완전히 다른 방식을 발견할 수도 있습니다.

하지만 화학 비유와 우리의 AI 가설 사이에는 중요한 차이점이 있습니다.

우리가 생성한 모든 아키텍처가 유용한 새로운 지능의 범주에 해당한다고 가정할 수는 없습니다. 대부분의 후보는 중복되거나, 작동하지 않거나, 비용이 많이 들거나, 심지어 기존 접근 방식보다 더 나쁠 수 있습니다.

생성된 시스템 천 개가 곧 발견 천 개를 의미하는 것은 아닙니다.

발견에는 증거가 필요합니다.

따라서 유용한 질문은 다음과 같지 않습니다:

"AI가 무언가를 생성할 수 있는가?"

물론 AI는 코드와 아키텍처의 새로운 조합을 생성할 수 있습니다.

더 흥미로운 질문은 다음과 같습니다:

AI가 지능형 시스템을 조직하는 새로운 방식, 심지어 더 나아가 시스템을 발견하는 과정을 개선하는 방식까지 체계적으로 발견하고, 검증하며, 전파할 수 있는가?

이것이 바로 제3의 계층(Third Layer)의 배경에 깔린 질문입니다.

1. 박사 학위 없이 설명하는 세 가지 계층

이번 논의를 위해 저는 문제를 세 가지 개념적 계층으로 나눌 것입니다.

이는 표준적인 AI 연구 분류가 아니라 제가 작업하고 있는 모델입니다.

계층 1: 기존 시스템 사용하기

당신은 하나의 AI 모델이나 에이전트를 가지고 있습니다.

그것에게 과제를 부여합니다. 그것은 도구를 사용하거나, 정보를 검색하거나, 코드를 작성하거나, 결정을 내립니다.

그 기본 아키텍처는 이미 설계되어 있습니다.

만약 실패한다면, 보통 인간이 프롬프트(prompt), 도구, 코드, 훈련(training) 또는 구성을 변경합니다.

예시:

코딩 에이전트를 가지고 있다고 가정해 봅시다. 버그를 수정하도록 요청합니다. 그것은 버그를 수정합니다.

계속 실수를 한다면, 당신은 그 지침을 개선하거나 구현 방식을 수정합니다.

여기에는 특별할 것이 없습니다.

계층 2: 기존 시스템 개선하기

이제 시스템이 자신의 구현이나 구성의 일부를 수정할 수 있습니다.

검색 전략을 개선하거나, 검증(validation) 기능을 추가하거나, 컨텍스트 관리 방식을 변경하거나, 더 효과적인 워크플로우를 사용할 수도 있습니다.

후보 버전을 생성하고, 테스트를 실행하며, 결과가 정당화되면 그 수정을 유지합니다.

이것만으로도 훨씬 흥미롭습니다.

시스템은 더 이상 단순히 소프트웨어를 사용하는 것에 머무르지 않습니다. 그것은 자신을 유용하게 만드는 소프트웨어 자체를 개선하는 데 도움을 줍니다.

하지만 목표는 여전히 비교적 익숙합니다. 즉, 이 시스템이 의도된 작업을 더 잘 수행하도록 만드는 것입니다.

계층 3: 새로운 시스템을 생성하고 진화시키기

이제 질문을 바꿉니다.

특정 에이전트를 어떻게 개선할지 여부만을 묻는 대신, 상위 시스템은 에이전트와 다른 문제 해결 시스템을 구성하는 더 나은 방법을 탐색합니다.

어떤 후보들은 상위 시스템과 코드를 공유할 수도 있습니다. 또 어떤 것들은 완전히 다른 워크플로우, 도구, 내부 데이터 구조 또는 검색 전략을 사용할 수도 있습니다.

한 후보는 작고 극도로 효율적인 전문화된 시스템일 수 있습니다.

또 다른 것은 경쟁하는 해답들의 집단을 사용할 수도 있습니다.

세 번째는 특정 문제가 아예 LLM(대규모 언어 모델)보다는 결정론적 알고리즘으로 더 잘 해결된다는 것을 발견할 수도 있습니다.

상위 시스템은 모든 자식을 자신보다 더 나은 버전으로 만들 필요가 없습니다.

그것이 필요한 것은 각자의 문제를 더 잘 해결하는 시스템을 만드는 것입니다.

그리고 어떤 생성 전략이 효과적인지에 대한 증거를 갖게 되면, 그 정보를 사용하여 다음 세대를 생산하는 과정을 개선할 수 있습니다.

제가 중요하게 생각하는 것이 바로 이 차이점입니다.

계층 2는 '어떻게 나 자신을 개선할까?'라고 묻습니다.

계층 3은 '이 문제에 어떤 시스템이 존재해야 하며, 다음 시스템을 어떻게 신뢰성 있게 발견할 수 있을까?'라고 묻습니다.

이 개념들은 중첩됩니다. 제3의 계층은 반드시 자기 개선을 대체하는 별도의 기술인 것은 아닙니다. 이는 시스템 생성, 평가, 전문화, 그리고 잠재적으로 재귀적 개선이 함께 작동하는 더 광범위한 아키텍처를 설명합니다.

1. 훨씬 큰 아이디어에 대한 작은 다이어그램

              A BASE SYSTEM
                    |
                    v
...

빠진 것을 주목하세요.

'더 지능해지기'라고 표시된 마법 같은 상자는 없습니다.

모든 새로운 세대가 이전 세대보다 우수할 것이라는 보장은 없습니다.

상위 시스템이 사전에 가능한 모든 아키텍처를 이해해야 한다는 가정도 없습니다.

대신, 대안을 생성하고, 테스트하고, 유용한 결과를 유지하며, 실패로부터 학습하는 메커니즘이 존재합니다.

흥미로운 부분은 에이전트의 수가 아닙니다.

진화 과정의 질(quality)입니다.

그리고 이것은 실제로 연구를 살펴보기 시작하면 매우 중요해지는 구분을 만듭니다.

1. 자식은 부모의 복사본이어야 하는가?

아닙니다. 사실, 복사본을 고집하는 것이 더 제한적인 선택일 수 있습니다.

세 가지 가능한 후보를 고려해 봅시다.

후보 1은 동일한 파운데이션 모델(foundation model)을 사용하지만, 다른 검색 전략(search strategy), 메모리 시스템, 도구 인터페이스(tool interface), 그리고 평가 워크플로우(evaluation workflow)를 가집니다.

후보 2는 더 작은 모델과 신중하게 설계된 결정론적 파이프라인(deterministic pipeline)을 사용합니다. 일반적인 대화에서는 성능이 떨어지지만, 한 가지 좁은 엔지니어링 작업(narrow engineering task)에서는 상당히 우수합니다.

후보 3은 개체군 기반 검색 알고리즘(population-based search algorithm)을 사용하며 실제 문제 해결 단계에서 LLM을 사용하지 않습니다. LLM은 오직 후보 알고리즘을 제안하는 데만 사용됩니다.

어떤 것이 자식일까요?

세 가지 모두 동일한 부모 검색 과정의 후손일 수 있습니다.

하지만 의미 있는 아키텍처적 관점에서 볼 때 반드시 부모의 복사본인 것은 아닙니다.

생성된 에이전트는 부모의 가중치(weights)를 포함할 필요가 없습니다. 부모처럼 보일 필요도 없고, 부모처럼 소통할 필요도 없으며, 심지어 동일한 문제 해결 메커니즘을 사용할 필요도 없습니다.

그것은 자신을 생성한 과정과 추적 가능한 관계(traceable relationship)를 가지고 있어야 하며, 유용한 기능을 수행한다는 증거가 있어야 합니다.

이는 또한 시스템이 새로운 파운데이션 모델을 만들지 않고도 새로운 소프트웨어 아키텍처를 생성할 수 있음을 의미합니다.

이러한 구분은 중요합니다. 왜냐하면 자가 개선형 AI(self-improving AI)에 대한 많은 논의가 가장 극적인 가능성, 즉 시스템이 자체 신경 가중치(neural weights)를 수정하고, 더 지능해지며, 이 과정을 무기한 반복하는 것으로 곧장 건너뛰기 때문입니다.

하지만 아키텍처적 진화는 다른 수준에서 일어날 수 있습니다.

에이전트의 성능은 또한 도구, 메모리, 검색 정책(search policy), 오케스트레이션(orchestration), 컨텍스트 처리(context handling), 테스트 전략, 그리고 후보 솔루션 중에서 선택하는 방식에도 달려 있습니다.

이러한 구성 요소들을 변경하는 것은 기반 모델(foundation model)이 고정되어 있더라도 유용할 수 있습니다.

그리고 바로 여기서 우리는 첫 번째 구체적인 증거를 발견합니다.

Part II: 이것은 공상 과학 소설이 아닙니다. 어떤 부분들이 이미 존재하고 있을까요?

1. 재귀적 자기 개선(recursive self-improvement) 이전에, 자동화된 발견(automated discovery)이 있었습니다.

'제3의 계층(The Third Layer)'은 우리의 특정 질문에 유용한 이름이지만, 그 근간이 되는 연구는 훨씬 더 긴 역사를 가지고 있습니다.

자동화 기계 학습(Automated machine learning), 진화 알고리즘(evolutionary algorithms), 유전 프로그래밍(genetic programming), 메타 학습(meta-learning), 신경망 구조 탐색(neural architecture search), 그리고 프로그램 합성(program synthesis) 등은 모두 지능형 시스템 설계 과정의 일부를 자동화하는 방법을 탐구해 왔습니다.

유용한 역사적 예시 중 하나는 ICML 2020에서 발표된 "AutoML-Zero"(https://proceedings.mlr.press/v119/real20a.html)입니다.

연구자들은 정교하고 인간이 설계한 기계 학습 구성 요소로 검색을 제한하기보다는, 기본적인 수학 연산 조합으로부터 완전한 학습 알고리즘이 출현할 수 있는지 탐구했습니다.

해당 논문은 진화적 탐색(evolutionary search)이 역전파(backpropagation)를 통해 훈련된 단순한 신경망과 유사한 알고리즘을 발견할 수 있음을 보고했습니다. 또한 데이터가 부족한 환경에서 드롭아웃(dropout)과 같은 동작을 포함하여 다양한 작업에 적응된 알고리즘 구성 요소도 찾아냈습니다.

이것은 의미 있는 결과입니다.

탐색 과정은 단순히 고정된 아키텍처의 학습률을 조정하는 것이 아니었습니다. 비교적 일반적인 빌딩 블록 세트로부터 학습 알고리즘 구현체를 진화시킬 수 있었습니다.

하지만 검색 공간(search space), 적합도 목표(fitness objectives), 계산 과정(computational process), 그리고 실험 과제는 여전히 연구자들에 의해 설계되었습니다.

이는 모든 알려지지 않은 문제에 대해 어떤 종류의 지능이든 발명할 수 있는 범용 시스템을 입증한 것은 아닙니다.

이것이 우리의 첫 번째 반복되는 교훈입니다.

자동화된 발견은 무제한적이지 않더라도 현실적일 수 있습니다.

1. FunSearch: AI가 최종 답을 추측할 필요는 없다

2023년, Google DeepMind 연구원들은 FunSearch를 소개했으며, 이 작업은 이후 2024년 Nature에 게재되었습니다.

이 논문의 제목은 "Mathematical discoveries from program search with large language models"입니다 (https://www.nature.com/articles/s41586-023-06924-6).

기본 아이디어는 우아합니다.

언어 모델(LLM)이 프로그램들을 제안하고, 평가자(evaluator)가 이를 실행하여 결과를 점수화합니다. 진화 과정은 성공적인 후보들과 그들의 이력을 활용하여 후속 제안을 안내합니다.