인공지 Intelligence (AI) 세계를 팔로우하고 있다면, 규모를 키우는 것(scaling up)만이 유일한 전진 경로라고 가정하기 쉽습니다. **대규모 언어 모델 (Large Language Models, LLMs)**은 수천억 개의 파라미터(parameters)로 규모를 확장하며, 거대하고 이산적인(discrete) 추론 엔진으로서 대화의 중심을 차지해 왔습니다.

하지만 모든 문제에 방대한 토큰 라이브러리가 필요한 것은 아닙니다. 로보틱스, 물리적 센서, 그리고 연속적인 시간(continuous time)의 세계에서는 다른 아키텍처 철학이 번창하고 있습니다. 바로 **Liquid Neural Networks (LNNs)**입니다.

LLM이 정적이고 이산적인 기호(symbols)를 처리한다면, LNN은 매우 표현력이 뛰어난 유체 방정식(fluid equations)을 사용하여 물리적 세계의 혼란스럽고 연속적인 흐름을 탐색합니다. 왜 LNN이 LLM의 아주 적은 연산량(compute)만으로도 복잡한 물리 과제를 해결할 수 있는지 이해하려면, 실제 수학을 살펴봐야 합니다.

"Liquid" 적응에 대한 흔한 오해

사람들은 흔히 LNN이 수신하는 입력에 따라 "적응(adapt)"한다고 말합니다. LLM의 맥락에서 우리는 보통 적응을 이산적인 토큰들 사이에서 어텐션 가중치(attention weights)를 이동시키는 것으로 생각합니다. 사람들이 LNN이 동적으로 적응한다는 말을 들을 때, 흔한 오해가 발생합니다. LNN이 실제로 순전파(forward pass) 중에 가중치(weights)나 편향(biases)을 변경하는가?

짧은 답변은 '아니오'입니다.

LLM과 마찬가지로, LNN의 파라미터들 — 즉 입력 가중치 행렬 ( U ), 순환 가중치 행렬 ( W ), 그리고 편향 ( b ) — 는 훈련 단계가 완료된 후 완전히 고정됩니다.

그렇다면 무엇이 그것들을 "liquid"하게 만드는 걸까요?

적응은 각 개별 뉴런의 **은닉 상태 (hidden state, h(t))**와 유효 시간 상수 (effective time constant, τ(t)) 내에서 일어나며, 이는 시간에 따라 연속적으로 변화합니다. Transformer의 이산 시간(discrete-time) 아키텍처에 의해 제어되는 LLM과 달리, LNN은 근본적으로 **상미분 방정식 (Ordinary Differential Equations, ODEs)**을 기반으로 구축됩니다.

LNN 내부에서 뉴런의 상태를 설명하는 방정식은 다음과 같습니다:

$$\frac{d}{dt}h(t) = -\frac{h(t)}{\tau(x(t), h(t))} + f(W \cdot h(t) + U \cdot x(t) + b)$$

여기서 $f$는 표준 비선형 활성화 함수 (tanh 또는 sigmoid와 같은)입니다.

시간 상수 $\tau$에 주목하십시오. 전통적인 연속 시간 신경망 (continuous-time neural network)에서 $\tau$는 고정된 숫자입니다. LNN에서 $\tau$는 현재 입력 $x(t)$와 현재 은닉 상태 $h(t)$의 동적 함수 (dynamic function)입니다.

코드상에서 해당 상미분 방정식 (ODE)의 우변은 다음과 같습니다:

import numpy as np

def dh_dt(h, x, W, U, b, tau_fn, f=np.tanh):
...

따라서 LNN에서의 "적응 (adaptation)"은 네트워크가 실시간으로 자신의 코드(가중치 변경)를 다시 작성한다는 의미가 아닙니다. 대신, 이는 뉴런의 상태 변화 속도와 궤적이 전적으로 입력에 따라 결정됨을 의미합니다. 입력 데이터가 갑자기 노이즈가 심해지거나, 불규칙해지거나, 예측 불가능해지면, 뉴런은 새로운 가중치가 필요 없이 수학적으로 통합 (integration) 속도를 "늦춤"으로써 노이즈를 걸러낼 수 있습니다.

연속적인 세계의 아키텍처: LNN이 탁월한 분야

이러한 독특한 연속 시간 프레임워크 덕분에, LNN은 **물리적이고 실제적인 스트리밍 환경 (streaming environments)**에 독보적으로 적합합니다.

• 초저매개변수 풋프린트 (Ultra-Low Parameter Footprint) 및 엣지 배포 (Edge Deployment): LLM이 거대한 서버 팜을 필요로 하는 반면, LNN은 매우 적은 매개변수로도 놀라운 복잡성을 달성합니다. LNN은 메모리와 전력을 수십 배 적게 요구하기 때문에 엣지 디바이스 (edge devices), 마이크로컨트롤러 (microcontrollers), 드론에서 직접 실행될 수 있습니다.
• 노이즈가 심하고 불규칙한 시계열 데이터 (Time-Series Data) 처리: 트랜스포머 (Transformers)는 데이터를 깔끔하고 순차적인 청크로 기대하며 시간을 이산적 (discreetly)으로 처리합니다. 만약 미세한 생체 역학적 이상을 감지하기 위해 연속적인 움직임이나 보행 데이터셋을 분석한다면, LLM은 어려움을 겪습니다. LNN은 근간이 되는 ODE가 시간을 연속적인 흐름으로 취급하기 때문에 이 분야에서 탁월한 성능을 발휘합니다.
• 분포 외 데이터 (Out-of-Distribution) 생존력: LLM이 학습 데이터와 완전히 이질적인 시나리오를 마주하면 환각 (hallucination)을 일으킵니다. 만약 맑은 하늘에서 학습된 LNN 기반 드론이 갑작스러운 폭풍우를 만난다면, LNN의 액체 시간 상수 (liquid time constants)는 불규칙한 센서 노이즈를 보상하기 위해 자동으로 조정되어 제어력을 유지할 수 있게 합니다.

이산적인 세계의 아키텍처: LLM이 탁월한 분야

LNN의 우아함에도 불구하고, 이들은 의미론적 지식 (semantic knowledge)을 처리하도록 설계되지 않았습니다. LLM은 여전히 추론 (reasoning) 및 방대한 지식 검색 (massive knowledge retrieval) 분야에서 논쟁의 여지가 없는 엔진으로 남아 있습니다.

• 이산적 논리 및 언어 (Discrete Logic and Language): 언어는 연속적이고 흐르는 물리적 신호가 아니라, 이산적인 기호 (discrete symbols)들로 구성됩니다. LLM의 셀프 어텐션 (self-attention) 메커니즘은 문서 내의 모든 단어 사이의 관계를 동시에 가중치로 계산할 수 있게 해줍니다. 만약 법률 계약 조항을 분석하고 분류하는 시스템을 구축한다면, LLM을 선택하게 될 것입니다. 순차적 ODE 솔버 (sequential ODE solvers)인 LNN은 복잡한 문법을 분석하거나 코드를 작성하는 데 근본적으로 부적합합니다.
• 백과사전적 세계 지식 (Encyclopedic World Knowledge): LLM은 수십억 개의 파라미터 (parameters)를 자랑하기 때문에, 인류 지식의 믿을 수 없을 정도로 방대하고 압축된 데이터베이스 역할을 겸합니다. LNN의 초효율적이고 컴팩트한 풋프린트 (footprint)는 세계적 사실을 보유할 수 있는 능력이 사실상 거의 없음을 의미합니다.
• 장기 정적 컨텍스트 (Long-Range Static Context): 거대한 코드베이스를 롱 컨텍스트 (long-context) LLM에 입력하면, 1페이지의 변수와 99페이지의 함수를 즉각적으로 연결할 수 있습니다. LNN은 데이터를 시간에 따라 순차적으로 처리하기 때문에, 방대한 양의 텍스트 블록을 읽어야 할 때 오래된 정적 정보를 "망각"하기 쉽습니다.

요약: 서로 다른 현실을 위한 서로 다른 엔진

궁극적으로, 우리는 매우 뛰어나지만 완전히 구별되는 두 가지 계산 철학을 보고 있는 것입니다. LLM은 인류 역사의 축적된 이산적 데이터를 저장하고, 분석하며, 추론하도록 구축되었습니다. LNN은 물리적 세계의 혼란스럽고 연속적인 흐름에 반응하고, 노이즈를 필터링하며, 적응하기 위해 민첩한 신경계처럼 구축되었습니다.