언어 / Language / 语言 / 언어: 일본어 | English | 中文 | 한국어

지난 회차(#39)에서 우리는 이렇게 결론지었습니다. "증명이 포함된 채로 진화하는 기억 코어를 만들 수 있었다. 다만 n≤6인 작은 부품까지였다. 스케일러빌리티 (Scalability)의 벽은 꿈쩍도 하지 않았다".

그리고 이번(2026년 6월 10일)에는, 계속 뒤로 미뤄왔던 본론의 질문에 답했습니다.

"그래서, 그 '진화하는 기억'은 제대로 똑똑해지는가? 경사 하강법 (Gradient Descent, 일반적인 학습)보다 강한가?"

결론을 한 줄로 말씀드립니다. "실재하는 소형 LLM이 만드는 진짜 지형에서, 진화는 일반적인 경사 하강법을 상대로 20전 20승 했다. 순간, 이겼다고 생각했다. 하지만 자신의 프레임워크 규율에 따라 '강한 경사 (Strong Gradient)'를 내놓았더니, 그 승리는 환상이었다".

이 기사는 연구에서 가장 무서운 순간 — "이상할 정도로 좋은 결과가 나와버린 순간" — 에, 이겼다고 자만하기 전에 어떻게 스스로를 의심했는지에 대한 기록입니다. 평소와 같이 ①용어 → ②풀이 → ③상세 순서로, 과장 없이 작성합니다. 마지막에는 자신의 수치 주장을 검증 AI에 병렬로 반증시킨 결과(MAJOR한 불일치 제로)도 공개합니다.

원본 데이터: github.com/furuse-kazufumi/llcore (전체 실험 코드/데이터 + verdict).

야구로 비유하겠습니다. 당신의 팀(진화)이 어떤 상대(finite-diff 경사)를 상대로 20전 20승을 거두었습니다. 강합니다. 이견의 여지가 없습니다.

…하지만, 그 상대가 동네 야구 팀이었다면?
20연승은 "당신이 강하다"는 증거가 되지 않습니다. "상대가 약했을" 뿐일 수도 있습니다.

연구에서 이를 간과하면 큰 사고가 됩니다. "진화가 경사법을 이겼다!"라고 논문에 썼다가, 나중에 "아니요, 당신이 비교한 경사법이 너무 약했을 뿐입니다"라는 말을 듣게 됩니다. 이것이 바로 capability의 함정입니다.

그래서 우리의 프레임워크에는 처음부터 **규율 (meta-gate)**이 포함되어 있습니다.

진화가 이겼다면, 이겼다고 자만하기 전에 "프로"를 불러 재대결하라.

이번에 그 "프로"(해석적 경사 = 실제 LLM 학습이 사용하는 정확한 경사)를 불렀습니다. 결과:

• 동네 야구(finite-diff) 상대: 진화 20승 0패 (평균 CE에서 +0.029 리드)
• 프로(해석적 경사) 상대: 진화 1승 19패 (프로가 역으로 우세)

즉

이번에는 이를 실재하는 SmolLM2-135M(Apache-2.0 라이선스의 소형 LLM)으로 채웠습니다. 절차는 다음과 같습니다:

• SmolLM2에 문장을 통과시켜 중간층(layer 15)의 **실제 내부 표현(hidden state)**을 추출합니다. - 이를 작은 차원(n=6)으로 투영하여, 「다음에 올 내부 표현의 클러스터」를 맞히는 CE 지형을 만듭니다. 이는 합성 가우시안(synthetic Gaussian)이 아니라, 모델 자신의 내부 다이내믹스(internal dynamics)에서 유래한 실제 예측 태스크입니다. - 해당 지형 위에서 진화(MAP-Elites)·랜덤·약한 경사(weak gradient)·**강한 해석적 경사(strong analytical gradient)**를 동일한 예산(평가 횟수)으로 실행하고, **미관측 문장(held-out)**에서의 예측 정확도를 20개 시드(seed)로 비교합니다.

• 진화 vs 약한 경사: 평균 차이 +0.029, 20승 0패, p<1e-6 → 4개 조건 AND 성립(겉보기에는 EXISTS).
• 진화 vs 강한 해석적 경사: 평균 차이 −0.008, 1승 19패, p=3.5e-4로 경사가 역전 → 4개 조건 AND 불성립.

→ 판정 = ARTIFACT+NEGATIVE. 진화의 승리는 약한 상대 덕분이었습니다. 강한 경사에서는 경사 ≥ 진화 = 실재 LLM 지형에서도 capability는 NEGATIVE입니다.

"그럼 지난번까지의 합성 지형에서의 '무승부(NULL_TIE)'도 약한 경사 때문에 과소평가되었던 것 아닌가?" — 그 의구심 또한 데이터로 확인했습니다. 합성 지형에도 강한 해석적 경사를 추가하여 재실행하자, 해석적 경사가 최고 평균(0.575 > 진화 0.535)을 기록했습니다. 다만 합성 지형은 운의 변동(분산)이 커서 쌍체 검정(pair test)에서는 무승부에 그쳤습니다. 실재 지형은 변동이 작은 만큼, 경사의 우위가 통계적으로 유의(19/20)한 수준까지 도달했습니다.

결론: capability NEGATIVE는 양쪽 지형에서 일관됨(강한 경사가 양쪽 모두에서 최고). 차이는 분산뿐입니다.

capability는 팔리지 않습니다. 그렇다면 무엇이 남는가 — 바로 **guarantee(안전성 판별력)**입니다. 동일한 세션에서 3가지를 확인했습니다.

• 판별력: 「위험한 구조」를 경험 기반의 gate는 84% 놓칩니다(폭주하는데도 '안전'하다고 통과시킴). 증명기(sound certificate)는 0% 놓칩니다. 특히 cert_sdp는 오허가(false acceptance)가 제로이며 과도한 기각(false rejection)도 4.6%에 불과해 = 건전하면서도 가장 통과하기 쉽습니다.
• base 레벨의 판별: Mamba(구조적으로 안정적인 SSM)는 전 24개 층에서 고유 안정(inherently stable) → 자명하게 합격. 표준 Transformer인 SmolLM2는 상태 재귀를 갖지 않음 → 안전성은 사후적인 gate를 통해 처음으로 부여됩니다. 이 프레임워크는 '안전한 토대'와 'gate가 필요한 토대'를 base 레벨에서 구분할 수 있습니다.
• 확장성(framework 성): 기질(substrate)·목적·증명기라는 3개의 삽입구를 1개의 오브젝트 교체만으로 갈아 끼울 수 있습니다(단위 테스트 17건 green). 다만 「다양성이 일반화를 돕는다」는 가설은 NULL(성립하지 않음) — 이 점 또한 솔직하게 공개합니다.

덤으로 발견한 사실. 이 기질은 tanh를 사용하여 상태가 항상 유계(bounded)되므로, 불안정하더라도 출력 노름(output norm)은 발산하지 않습니다. 게다가 ρ≈2.9인 폭주하는 개체조차, 어떤 하나의 궤도에서는 섭동이 감쇠하는 것처럼 보입니다(마치 랑톤의 개미처럼, 겉모습이 본질을 배신함). 상태 노름을 보더라도, 유한 호라이즌(finite horizon)의 「망각 테스트」를 하더라도, ρ≥1은 간파할 수 없습니다. 간파할 수 있는 것은 증명기의 최악 케이스 평가(box-sup)뿐입니다. 데모는 이 「경험은 속이고, 증명기만이 간파한다」는 내용을 한 장의 그림으로 나타냈습니다(phase2_demo_gate_discrimination.svg).

이 연구에서 가장 위험했던 순간은, 「진화 20전 20승」을 본 순간입니다. SNS에서 화제가 될 만한 헤드라인이 순간 스쳐 지나갔습니다(「진화가 경사를 이기는 실재 LLM 지형을 발견!」).

그때 멈출 수 있었던 것은 새로운 영감이 아니라, 처음부터 들어있던 규칙(meta-gate) 덕분이었습니다. "이겼다면 강한 상대를 불러라". 불러보니 졌습니다. 그래서 쓸 수 없습니다.

이것은 패배의 보고가 아니라, 프레임워크가 기능했다는 보고입니다. 만약 meta-gate가 없었다면, 저는 거짓을 publish 했을 것입니다. "이례적으로 좋은 결과는, 이겼다고 착각하기 전에 내역을 의심하라"— 이 규율이 데이터 상에서 실제로 false-positive (위양성) 1건을 막아냈습니다.

남은 솔직한 유보 사항:

• 실제 vocab의 full-softmax CE가 아닌 hidden 클러스터 CE의 proxy (작은 n에서는 full-vocab이 퇴화하기 때문).
• gate를 적용하면 실제 지형에서는 성능이 −0.028 하락함 (가소성(plasticity)을 측정 가능하도록 깎아냄). 단, 진화에 capability(역량) 우위가 없으므로 결론에는 영향을 미치지 않음.
• "강한 기울기(gradient)가 최선이다"는 backprop (역전파)이 무료로 정확한 기울기를 얻을 수 있다는 전제하에 성립함. 실제 LLM 학습은 바로 그러하므로, 현실적인 비교임.

마지막으로, 3가지 실험의 수치적 주장을 독립된 검증 AI에 병렬로 반증시켰습니다. 특히 핵심(capability)은, 검증 AI가 실제로 SmolLM2를 읽어 들여 3개의 시드(seed)로 독립 재실행하여, "강한 기울기가 진화를 앞선다"를 결정론적으로 재현했습니다. **중대한 불일치(MAJOR)는 제로(0)**였습니다. 지적 사항은 모두 재현성, 표현 방식, 유보 사항의 정밀도 향상에 관한 것이었으며, 결론을 뒤집는 것은 없었습니다 (1건, 검증용 난수가 재현되지 않는 결함을 발견하여 그 자리에서 결정론화하여 재실행했습니다).

3회의 호(arc) (#38→#39→#40)를 통해, 우리는 다음과 같이 착지했습니다.

#38: 방어적 공개 — "증명 가능한 기억"의 창은 이론적으로 열렸다. -
#39: 창은 구현에서 닫혔다. 하지만 스케일러빌리티(scalability, 확장성)의 벽은 꿈쩍도 하지 않았다 (verified로 진화할 수 있는 것은 n≤6까지). -
#40(이번 회차): 그렇다면 똑똑해지는가? → NO. 실제 LLM 지형에서도 강한 기울기가 진화를 이긴다. capability는 팔리지 않는다.

따라서 "진화 가능한 LLM"의 정체는, **"진화가 성능으로 승리하는 AI"가 아니라, "online에서 구조를 변경해도 폭주나 파멸적 망각(catastrophic forgetting)을 일으키지 않음을, 증명을 통해 보증하고 측정하는 프레임워크"**입니다. 수수합니다. 하지만, 지능을 부풀리지 않고 안전성으로 승부하기로 결정한 이상, 이것이 솔직한 모습입니다.

다음 회차에서는 이 프레임워크를 "랑턴의 개미(Langton's ant)의 환상을 꿰뚫어 보는 눈"이라는 비유로 총괄할 예정입니다. 경험은 겉모습에 속는다. 증명기만이 본질을 본다 — 그 한 점으로 3회 분량의 honest disclosure (정직한 공개)가 모두 연결됩니다.

지난 회차(#39)에서 우리는 다음과 같이 결론지었습니다: "우리는 증명과 함께 진화하는 메모리 코어를 구축했지만, 이는 n≤6인 작은 부분에만 국한된다. 스케일러빌리티의 벽은 꿈쩍도 하지 않았다."

이번 회차(2026-06-10)에서 우리는 마침내 미뤄왔던 질문에 답했습니다:

"그렇다면 이 '진화하는 메모리'가 실제로 똑똑해지는가? 경사 하강법(gradient descent, 일반적인 학습)보다 나은가?"

한 줄 요약: "실제 소형 LLM으로 구성된 실제 지형에서, 진화는 일반적인 경사 하강법을 상대로 20전 20승을 거두었다. 잠시 승리했다고 생각했다. 하지만 내 프레임워크의 규율을 따라 강한 기울기를 불러들였고, 그 승리는 환상임이 드러났다."

이것은 연구에서 가장 무서운 순간 — 비정상적으로 좋은 결과가 나타나는 순간 — 그리고 축하하기 전에 내가 어떻게 스스로를 의심했는지에 대한 기록이다. 항상 그렇듯 동일한 순서를 따른다: ① 용어 → ② 쉬운 설명 → ③ 세부 사항. 미사여구는 없다. 마지막에는 검증 AI (verifier AIs)가 나의 수치적 주장들을 병렬적으로 적대적 반박 (adversarially refute) 하여 얻은 결과(중대한 불일치 없음)를 공개한다.

소스 데이터: github.com/furuse-kazufumi/llcore (모든 실험 코드/데이터 + 판결).

야구 비유를 들어보자. 당신의 팀(evolution)이 상대 팀(finite-diff gradient)을 20전 전승으로 이겼다. 강력하며, 불만이 없을 것이다.

…하지만 만약 그 상대 팀이 동네 야구(sandlot) 팀이었다면 어떨까? 20연승은 당신이 강하다는 증거가 아니다. 어쩌면 상대가 약했을 뿐일 수도 있다.

연구에서 이런 일을 저지르면 재앙이 닥친다. 논문에 "진화가 기울기를 이겼다!"라고 썼는데, 나중에 누군가 "아니, 당신이 비교한 기울기 방법론이 너무 약했을 뿐이야"라고 말하는 상황 말이다. 이것이 바로 capability trap (역량의 함정) 이다.

따라서 우리의 프레임워크에는 처음부터 다음과 같은 규칙 (meta-gate) 이 내장되어 있었습니다:

진화(evolution)가 승리한다면, 축하하기 전에 '프로'를 불러 재대결을 시키는 것.

우리는 프로(analytic gradient = 실제 LLM 학습에서 사용하는 정확한 기울기)를 불렀습니다. 결과는 다음과 같습니다:

• sandlot (finite-diff) 대결: 진화(evolution)
  20–0 (+0.029 평균 CE 리드)
• 프로 (analytic gradient) 대결: 진화(evolution)
  1–19 (프로의 승리)

즉, 진화는 상대가 약했기 때문에 승리했을 뿐입니다. 강력한 기울기(gradient) 앞에서는 기울기가 더 우수했습니다. "진화가 더 똑똑해진다 (capability)"라고 주장할 수 없습니다.

핵심 요점은 다음과 같습니다: 여기서 패배한 것은 실패가 아닙니다. 우리 프레임워크의 가치는 결코 "똑똑함"의 측면 (capability) 에 있었던 것이 아니라, "폭주하지 않음"의 측면 (guarantee) 에 있었습니다. 이 결과는 그 선택이 데이터상으로 옳았음을 의미합니다. 우리가 똑똑함을 내세워 팔지 않은 것은 다행스러운 일입니다.

이전의 capability 실험들은 합성 다중 정점 지형 (synthetic multi-peaked terrain) (인공적인 지형) 에서 측정되었습니다. 우리는 솔직하게 "이것은 실제 LLM의 손실 지형 (loss terrain) 이 아니다"라고 표시해 두었습니다.

이번에는 실제 SmolLM2-135M (Apache-2.0 소형 LLM) 을 사용하여 그 간극을 메웠습니다:

• 텍스트를 SmolLM2에 통과시켜 15번 레이어에서의 실제 내부 표현 (hidden states) 을 추출합니다. - 작은 차원 (n=6)으로 투영하고, 합성 가우시안 (synthetic Gaussians) 이 아닌, 모델 자체의 내부 역학에서 유도된 실제 예측 작업인 "다음 내부 표현의 클러스터를 예측하는 CE 지형" 을 구축합니다. - 해당 지형 위에서, 동일한 예산 (budget) (평가 횟수) 내에서 진화 (MAP-Elites) / 무작위 (random) / 약한 기울기 (weak gradient) / 강력한 해석적 기울기 (strong analytic gradient) 를 실행하며, 20개의 시드에 걸쳐 홀드아웃 (held-out, 미학습) 문장에 대한 예측을 비교합니다.

• 진화 (evolution) vs 약한 경사 (weak gradient): 평균 +0.029, 20-0, p<1e-6 → 4-조건(4-condition)을 만족하며 통과 (passes) (EXISTS하는 것처럼 보임).
• 진화 (evolution) vs 강력한 해석적 경사 (strong analytic gradient): 평균 −0.008, 1–19, p=3.5e-4에서 경사(gradient) 승리 → 4-조건을 만족하지만 실패 (fails).

→ 판결 (Verdict) = 인위적 결과물 (ARTIFACT) + 부정적 (NEGATIVE). 진화의 승리는 약한 상대 때문이었습니다. 강력한 경사(gradient)를 대입하면, 경사 ≥ 진화이며, 이는 **실제 LLM 지형 (real LLM terrain)에서도 능력 (capability)이 부정적 (NEGATIVE)**임을 의미합니다.

"그렇다면 이전의 합성 지형 (synthetic terrain)에서의 '무승부 (NULL_TIE)' 또한 약한 경사 때문에 과소평가된 것이 아닌가요?" — 저희는 데이터 상에서도 이를 확인했습니다. 합성 지형에 강력한 해석적 경사를 추가했을 때, 해석적 경사가 가장 좋은 평균값을 기록했습니다 (0.575 > 진화 0.535). 하지만 합성 지형은 실행 간 분산 (variance)이 크기 때문에, 대응 표본 검정 (paired test) 결과는 여전히 무승부로 남았습니다. 분산이 더 낮은 실제 지형에서는 경사의 우위가 **유의성 (significance)**에 도달했습니다 (19/20).

결론: 능력 (capability)이 부정적 (NEGATIVE)이라는 사실은 두 지형 모두에서 일관되게 나타납니다 (두 지형 모두에서 강력한 경사가 최고 성능을 보임). 유일한 차이점은 분산 (variance)뿐입니다.

능력 (capability)은 판매될 수 없습니다. 따라서 살아남는 것은 — 바로 **보증 (guarantee, 판별력 (discriminative power))**입니다. 동일한 세션 내에서의 세 가지 확인 사항은 다음과 같습니다:

• 판별력 (Discrimination): 경험 기반의 게이트(gate)는 "위험한 구조 (dangerous structures)"의 84%를 놓칩니다 (발산하는 구조를 "안전함"으로 통과시킴). 반면 견고한 인증서 (sound certificate)는 0%를 놓칩니다. 특히 cert_sdp는 오탐지(false-admits)가 0%이며 과잉 거부(over-rejection)가 4.6%에 불과하여, 견고하며(sound) 가장 탐색하기 용이합니다 (most navigable).
• 기초 수준의 판별력 (Base-level discrimination): Mamba (구조적으로 안정적인 SSM)는 24개 레이어 전체에 걸쳐 본질적으로 안정적이므로 → 당연히 통과합니다. 표준 Transformer SmolLM2는 상태 재귀 (state recurrence)가 없으므로 → 안전성은 별도로 부착된 게이트 (bolted-on gate)에 의해 강제되어야 합니다. 이 프레임워크는 "안전한 베이스 (safe base)"와 "게이트가 필요한 베이스 (needs-a-gate base)"를 깔끔하게 분리합니다.
• 확장성 (Extensibility, 프레임워크로서의 특성): 세 가지 플러그인 지점 (기질 (substrate) / 목적 함수 (objective) / 인증기 (certifier))은 **단일 객체 (single object)**로 교체 가능합니다 (17개의 유닛 테스트 통과). 하지만 "다양성이 일반화에 도움이 된다"는 가설은 **무효 (NULL, 성립하지 않음)**이며, 이 또한 정직하게 공개되었습니다.

부수적인 발견입니다. 이 기질 (substrate)은 tanh를 통해 상태를 유계 (bounded)로 유지하므로, 불안정할 때조차 출력 노름 (output norm)은 발산하지 않습니다. 더 심각한 것은, 발산하는 개체 (ρ≈2.9)조차도 하나의 궤적에서는 섭동 (perturbation)이 감쇠하는 것처럼 보인다는 점입니다 (정확히 Langton의 개미와 같습니다 — 외견이 본질을 배신합니다). 상태 노름을 관찰하거나 유한한 지평의 "망각 테스트 (forgetting test)"를 수행하는 것만으로는 ρ≥1을 잡아낼 수 없습니다. 오직 인증서의 최악의 경우 (box-sup) 평가만이 이를 잡아낼 수 있습니다. 데모는 이러한 "경험은 속지만, 인증서만이 본다"는 사실을 하나의 그림(phase2_demo_gate_discrimination.svg)에 담아냅니다.

가장 위험했던 순간은 "진화 20-0"을 목격했을 때였습니다. SNS 친화적인 헤드라인이 스쳐 지나갔습니다 ("경사 하강법 (gradient)을 이기는 진화의 실제 LLM 지형을 발견했다!").

나를 멈춰 세운 것은 새로운 통찰이 아니었습니다. 그것은 **처음부터 내재된 규칙 (메타-게이트 (meta-gate))**이었습니다: "만약 당신이 이긴다면, 강한 상대를 불러라." 나는 상대를 불렀고, 패배했습니다. 그래서 나는 그것을 쓸 수 없습니다.