SemRF: 언어 모델의 잔차 스트림 역학(Residual-Stream Dynamics)을 위한 의미론적 참조 프레임
요약
언어 모델의 잔차 스트림(Residual-stream) 분석 시 발생하는 측정 드리프트를 해결하기 위해 SemRF라는 새로운 앵커 기반 형식주의를 제안합니다. SemRF는 의미론적 측정과 잔차 역학을 분리하여 레이어 깊이에 따른 모델의 의미론적 궤적을 안정적으로 분석할 수 있게 합니다.
핵심 포인트
- SemRF를 통해 의미론적 측정과 잔차 역학의 분리 가능
- 의사 역행렬 결합을 이용한 정확한 상태 동기화 제공
- 보로노이 흔적을 활용한 모델의 의미론적 궤적 및 곡률 분석
- 궤적의 복잡도와 파라미터 효율성 간의 상관관계 규명
잔차 스트림(Residual-stream) 분석은 언어 모델의 연산이 깊이(depth)에 따라 어떻게 진화하는지를 묻지만, 중간 단계의 디코딩(decoding)을 위해서는 레이어 전반에 걸쳐 비교 가능한 판독 좌표(readout coordinates)가 필요합니다. 만약 임베딩 앵커(embedding anchors)와 언임베딩 판독(unembedding readout)이 선택된 스팬(span)에 대해 서로 일치하지 않는다면, 겉으로 보이는 움직임은 연산이 아닌 측정 드리프트(measurement drift)를 반영할 수 있습니다. 우리는 의미론적 측정(semantic measurement)과 잔차 역학(residual dynamics)을 분리하는 앵커 기반 형식주의인 Semantic Reference Frames (SemRF)를 소개합니다. SemRF는 앵커를 고정하고 이를 기준으로 상태를 측정합니다. 의사 역행렬 결합(Pseudo-inverse tying)은 정확한 동기화를 제공하며, 제한된 양방향 가역성(bi-invertibility) 하에서 SemRF는 안정적인 의미론적 기저 좌표(semantic-basis coordinates), 왜곡 경계(distortion bounds), 그리고 거의 항등적인(near-identity) 변화를 산출합니다. 프레임이 고정되면, 잔차 연산은 깊이별 의미론적 궤적(semantic trajectory)이 됩니다. 앵커는 의미론적 보로노이 다이어그램(semantic Voronoi diagram)을 유도합니다: 거리 또는 로짓(logits)과 같은 증거는 각 레이어를 거친 셀(coarse cell)에 할당하는 반면, 좌표는 셀 내부의 움직임과 마진(margins)을 유지합니다. 우리는 레이어별 단계(layerwise steps), 기여 프로필(contribution profiles), 불균형 진단(imbalance diagnostics)을 정의한 다음, 보로노이 흔적(Voronoi trace)을 사용하여 마진 완화 튜브(margin-relaxed tube)를 정의합니다. 표준 흔적(canonical trace)은 이 튜브 내부의 최소 작용 경로(minimum-action path)입니다; 양의 이차 가중치(positive quadratic weight)를 가진 비어 있지 않은 경우, 이는 유일하며 활성 제약 조건(active constraints)에서 벗어난 이산 스플라인 방정식(discrete spline equation)을 따릅니다. 과잉 작용(Excess action)은 단계, 곡률 및 프로필 불일치를 제어합니다. 낮은 곡률은 구간별 선형 압축성(piecewise-linear compressibility)과 국소 지식 밀도(local knowledge density)를 의미합니다: 흔적의 복잡도가 낮을수록 의미론적 매듭(semantic knots)이 적음을 의미합니다. 파라미터-궤적 맵(parameter-to-trajectory map)을 통해, 이는 파라미터 효율성(parameter efficiency)에 대한 조건부 연결을 제공합니다: 데이터를 적합시키는 허용 가능한 설정 중에서, 작용량이 낮고 복잡도가 낮은 흔적은 더 적은 의미론적 자유도(semantic degrees of freedom)를 사용합니다. 이러한 보증은 명시적인 튜브 제약 조건 하에서 제어된 인터페이스 오류와 작은 투영 잔차(projection residual)를 필요로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기