신경망의 구조적 제약으로 학습 파라미터 수를 줄이는 방법

자유 파라미터 수만으로는 모델의 정보량을 비교할 수 없다

신경망(Neural Network)의 규모를 비교할 때, 학습 가능한 파라미터 수가 사용된다. 하지만 같은 뉴런 수라도, 연결 대상을 임의로 학습하는 구성과 관측된 연결을 고정하는 구성에서는 최적화가 풀고자 하는 문제가 다르다. 학습 가능한 변수의 수는 모델이 이용하는 정보의 총량이 아니라, 고정 조건을 부여한 후에 최적화에 남겨진 자유도를 나타낸다.

Lappalainen 등은 쇼죠우바(ショウジョウバ)파리 시각계의 64가지 종류 세포를 대상으로, 45,669개의 뉴런과 1,513,231개의 연결을 가진 계산 모델을 구축했다. 실제 측정된 커넥톰(connectome)과 세포종별 파라미터 공유를 이용해, 신경회로 부분의 학습 가능한 파라미터를 734개로 제한했다[1].

커넥톰이란 뉴런 간 연결 관계를 측정하고 재구성한 배선 정보이다. 이 모델에서는 연결 대상이나 시냅스 수를 커넥톰으로부터 제공하고, 막전위(membrane potential)의 시간 변화와 관련된 일부 값만을 학습한다. 필요한 정보를 연결 구조나 고정 조건에 보존함으로써, 가중치 업데이트를 맡기는 범위가 달라진다[2].

이 설계에서 구별하는 대상은 다음 3가지이다.

연결 구조의 제약으로 약 22억 개의 자유 파라미터를 734개로 줄이기

Lappalainen 등은 연결에 대한 사전 정보를 단계적으로 늘렸을 때의 자유 파라미터 수를 비교하고 있다. 비교의 출발점은 모든 뉴런 사이에 독립적인 결합 가중치를 허용하는 순환 신경망(Recurrent Neural Network)이다. 실제 모델과 같은 뉴런 수를 그대로 사용한 비교가 아니라, 65가지 종류의 파라미터 단위가 각각 721개의 시각 칼럼에 존재한다고 가정한 자유도의 이론적인 비교이다[1].

예를 들어, 제약이 없는 경우와 마지막 공유 규칙을 적용한 경우의 자유도는 각각 다음과 같이 계산할 수 있다.

이 두 수를 비교하면, 학습 가능한 자유도는 약 300만 분의 1이 된다. 다만, 중간 각 행은 구조적 제약을 가했을 때의 파라미터 수 비교이며, 각각의 구성을 같은 조건으로 학습시켜 예측 정확도나 학습 시간을 측정한 결과는 아니다.

덧붙여, 원 논문의 제4 단계에서는

자유도의 축소를 가능하게 하는 것은 연결을 제거하는 조작만이 아니다. 배치(配置)의 규칙성, 연결이 실재하는지 여부, 시냅스 수와 같은 실제 측정 정보를 학습 전에 계산 모델에 제공하고 있다. 다음으로, 최종 단계의 734개가 구체적으로 무엇을 나타내는지 확인한다.

세포종별 파라미터 공유로 734개의 미지량을 정의하다

시각계의 계산 모델은 64가지 종류의 세포를 다룬다. 대형 CT1 뉴런을 두 구역으로 나누어 다루기 때문에, 단일 뉴런의 특성을 할당하는 단위는 65종이 된다. 자유 파라미터의 내역은 다음과 같다[1].

개별 연결에 대해, 전시냅스(pre-synaptic) 측의 세포종을

여기서,

예를 들어, 같은 세포종 그룹에 속하는 두 연결의 시냅스 수가 각각 5개와 10개라면, 공유되는 계수와 부호가 같기 때문에 후자의 결합 강도는 전자의 2배가 된다. 반면, 다른 세포종 그룹에서는 또 다른
모델에 포함된 연결 수는 1,513,231개이지만, 각각의 강도를 독립적으로 최적화하는 구성은 아니다. 세포종과 실제 시냅스 수에 기반한 공유 규칙이 다수의 연결 가중치를 소수의 학습 변수로부터 정의하고 있다. 또한, 734는 신경회로 부분의 자유 파라미터 수이다. 시각 운동 출력을 계산하는 리더(読み出し器)에도 학습 파라미터가 있으며, 계산계 전체의 학습 변수 총합으로 734를 해석하는 것은 적절하지 않다[1].

시각 운동 추정 과제에서 남겨진 미지량을 최적화하다

연결 구조와 공유 규칙을 고정하더라도, 정지 막전위(resting membrane potential), 막 시정수(membrane time constant), 단위 시냅스 강도 값은 남아있다. Lappalainen 등은 동영상으로부터 시야 내 이동 방향과 이동량을 추정하는 광학 흐름(optical flow) 추정을 학습 과제로 사용했다. 신경회로의 출력 측 활동을 판독기(reader)에 전달하고, 추정 결과와 과제의 정답 간의 오차를 사용하여 신경회로와 판독기의 파라미터를 최적화한다[1].

이 학습에서 결합된 제약 조건들은 각각 다른 역할을 한다.

• **실측 커넥톰(real-measured connectome)**은 신호가 전달되는 경로와 시냅스 수를 제공한다. - **세포형별 공유 규칙(cell-type specific shared rules)**은 학습 가능한 변수의 수와 배치를 결정한다. - **시각 운동 추정 과제(visual-motor estimation task)**는 남겨진 변수에 기능적 평가 기준을 부여한다.

과제의 교사 신호(teacher signal)는 시각 운동의 정답이며, 각 뉴런의 실측 활동을 정답으로 제공하는 구성이 아니다. 이러한 차이 덕분에 학습 후 내부 활동을 독립적인 생리학적 측정 결과와 대조할 수 있다.

연구팀은 동일한 커넥톰과 동일한 과제 조건 하에서 50개의 모델을 개별적으로 최적화했다. 모델군들은 유사하지만 완전히 동일하지 않은 과제 성능을 보였고, 최적화 후 파라미터에는 여러 구성이 존재했다. 나아가 과거 26건의 연구에서 측정된 신경 활동과 대조하여 명암의 증가와 감소에 따른 ON/OFF 경로의 분화나 T4/T5 뉴런의 방향 선택성 등을 평가했다[1].

이 검증은 과제 출력과 내부 활동을 분리하고 있다. 광학 흐름을 추정할 수 있다는 것은 요구된 계산이 성립한다는 증거이다. 반면, 실측된 신경 활동과의 일치는 모델이 생물의 시각계에 대해 어느 정도 타당한 내부 응답을 생성하는지 조사하는 또 다른 증거이다. 과제에 적합한 모델이라 하더라도, 여러 개의 내부 파라미터 해가 존재할 수 있다는 점을 고려해야 한다.

같은 연결 구조와 과제에서도 내부 동역학은 유일하게 결정되지 않는다

구조를 고정한 네트워크라도, 동일한 과제 출력을 실현하는 내부 상태의 조합은 여러 개가 존재할 수 있다. 이 성질을 구별하기 위해, 과제 출력을 재현하는 것과 각 뉴런의 시간 변화를 재현하는 것을 분리하여 평가한다.

Beiran와 Litwin-Kumar는 정답이 되는 신경계를 교사 모델(teacher model)로, 그 신경계를 추정하는 쪽을 학생 모델(student model)로 삼아, 커넥톰에 제약된 순환형 네트워크를 이론적으로 조사했다. 교사와 학생에게 동일한 연결 가중치(connection weight)를 부여하고 생물물리 파라미터에는 다른 값을 허용한다. 학생 모델은 관측된 일부 뉴런 활동을 재현하도록 학습하며, 그 조건만으로는 미관측 뉴런의 활동이 교사 모델과 다를 수 있음을 보였다[3].

과제의 출력이 같더라도, 내부의 모든 뉴런 활동이 관측에 의해 제약되어 있다고는 할 수 없다. 예를 들어, 어떤 뉴런의 응답이 변화한 효과를 다른 뉴런의 응답이 보상하면 최종 출력은 비슷한 값을 유지할 수 있다. 따라서 같은 연결 구조와 같은 과제로부터 서로 다른 내부 동역학을 가진 해가 발생한다.

저자들은 일부 뉴런의 활동을 추가적인 관측 조건으로 제공함으로써, 학생 모델의 미관측 뉴런에 대한 예측도 개선할 수 있음을 보여주었다. 필요한 관측량을 좌우하는 것은 단순한 뉴런 총수보다 신경 활동이 차지하는 실효적인 차원이다. 관측 대상을 선택하는 방식 또한 후보가 되는 내부 활동을 식별하는 데 의미를 갖는다[3]。

고정할 구조와 학습할 미지량을 분리하여 설계하기

이 사례에서 도출되는 설계 판단은, 학습 대상을 줄일 때 감소시킨 자유도를 어떤 정보로 대체할지를 명시하는 것이다. 실측 커넥톰, 세포형별 공유 규칙, 과제에 의한 최적화는 각각 다른 역할을 담당하고 있다.

첫째, 측정으로 뒷받침되는 구조는 고정 조건의 후보가 된다. 초파리 시각계에서는 연결처와 시냅스 수가 이에 해당한다. 측정 범위나 오차를 파악한 후 고정하면, 연결을 학습으로 발견해야 하는 부담을 줄일 수 있다. 반면, 측정 결과가 불완전한 영역에서는, 고정함으로써 필요한 경로를 후보에서 제외할 위험도 있다.

둘째, 공유하는 파라미터에는 그 공유를 정당화할 단위가 필요하다. Lappalainen 등의 모델에서는 세포 유형과 공간적 규칙성을 근거로 같은 종류의 연결에 동일한 단위 시냅스 강도를 적용했다. 공유 규칙의 타당성은 파라미터 수 감소 자체보다는, 대상 시스템의 성질에 부합하는지에 따라 판단한다.

셋째, 고정 구조로부터 직접 결정할 수 있는 양과, 과제나 활동 측정에 의해서야 비로소 좁혀지는 양을 구분한다. 734개의 자유 파라미터를 최적화했음에도 불구하고, 50개의 모델은 서로 다른 해에 도달했다. 과제 성능을 확인한 후 내부 활동 비교를 추가함으로써, 구조와 과제가 허용하는 해 중에서 생리학적 관측과 양립할 수 있는 범위를 평가할 수 있다.

설계 시에는 적어도 다음 대응을 추적할 수 있도록 해야 한다.

따라서, 구조 제약을 사용하는 모델 설계에서는 자유 파라미터 수・과제 성능・내부 활동의 일관성을 나누어 평가한다. 학습 가능한 변수를 얼마나 줄일 수 있는지는, 사전에 확정할 수 있는 구조의 질과 남아있는 미지량에 대해 어떤 관측치를 제공받을 수 있는지에 따라 결정된다.

참고문헌

• Janne K. Lappalainen et al., Connectome-constrained networks predict neural activity across the fly visual system (2024-09-11). https://doi.org/10.1038/s41586-024-07939-3
• id774, 지능을 성립시키는 정보의 위치를 설계하다 (2026-10-04). https://blog.id774.net/entry/2026/10/04/5695/
• Manuel Beiran, Ashok Litwin-Kumar, Prediction of neural activity in connectome-constrained recurrent networks (2025-10-27). https://doi.org/10.1038/s41593-025-02080-4

논의(Discussion)