안녕하세요 여러분, 만약 여러분이 다양한 로컬 모델(예: Llama-3, Mistral, Phi-3 혼합)을 사용하여 탈중앙화된 멀티 에이전트 시스템 (MAS) 또는 워크플로우 라우터(workflow routers)를 구축하고 있다면, 아마 수학적인 벽에 부딪혔을 것입니다. 즉, 서로 다른 차원을 가진 벡터들 사이의 의미적 거리(semantic distance)를 계산할 수 없다는 점입니다 (N != M). 각 모델이 개념을 자신만의 고립된 비등방성 도메인(anisotropic domain)으로 투영하기 때문에, 기본 상태에서의 직접적인 매칭은 완전히 불가능합니다. 저는 가중치 변형이나 미세 조정(fine-tuning) 없이(W_frozen = const) 이 문제를 근본적으로 우회하기 위해 Lowdin Symmetric Orthogonalization과 결합된 '상대적 표현법 (Relative Representation Method)'이라는 매혹적인 기하학적 기술을 공유하고자 합니다. 이 기술이 이질적인 에이전트와 작업을 하나의 불변 좌표 공간(invariant coordinate space)으로 정렬하기 위해 내부적으로 어떻게 작동하는지 설명하겠습니다.

1. 핵심 트릭: 앵커 프레임워크 (Anchor Framework)

에이전트 A를 작업 B와 직접 비교하는 대신, 시스템은 고정된 기준 앵커(reference anchors) 집합 E = {e_1, e_2, ..., e_K}를 도입합니다. 이들은 여러분의 목표 운영 도메인을 나타내는, 의미론적으로 다양화된 K개의 텍스트 지시문입니다. 중요한 구현 참고 사항: 이 앵커들은 무작위 가우시안 노이즈(Gaussian noise)여서는 안 됩니다. 동일한 기저 매니폴드(underlying manifold)를 공유하도록 보장하기 위해 반드시 베이스라인 모델 출력의 실제 분포에서 샘플링되어야 합니다.

2. "비등방성 원뿔 (Anisotropy Cone)" 문제 해결

실제 LLM에서 가공되지 않은 임베딩 벡터들은 매우 높은 상관관계를 가지며 좁은 원뿔 형태(similarity >> 0)로 압축되어 있습니다. 이로 인해 분산이 사라지게 되며(sigma -> 0), 저정밀도(FP16/BF16) CUDA 환경에서 표준화(standardization)를 수행할 때 심각한 수치적 노이즈와 0으로 나누기(division-by-zero) 결함이 발생하게 됩니다.

기하학적 안정성(geometric stability)을 보장하기 위해, 이 기술은 앵커 행렬(anchor matrix)에 Lowdin Symmetric Orthogonalization을 직접 적용합니다:

• 실제 표현(real representations)의 대칭 Gram 행렬을 구합니다: $S = E^T \cdot E$
• 스펙트럼 분해(Spectral Decomposition)를 통해 직교화된 앵커를 계산합니다: $E' = E \cdot S^{-1/2}$
• 이는 실제 앵커 벡터들을 엄격한 90도 각도(서로 다른 앵커 간 유사도 = 0)로 대칭 회전시켜, 원래 벡터의 평균 제곱 변형(mean squared deformation)을 최소화하면서 완벽하게 직교하는 좌표계를 생성합니다.

3. 불변 공간($\mathbb{R}^K$)으로의 매핑 (Mapping into Invariant Space)

이제 임의의 에이전트 $X_i$ 또는 태스크 $T_j$는, 회전된 기저(rotated bases)들에 대한 유사도 프로필(similarity profiles)을 계산한 후, 모델 특유의 비등방성(anisotropy)을 완전히 중화하기 위해 앵커별 Z-표준화(Anchor-Wise Z-standardization)를 수행함으로써 이 통합된 좌표계로 매핑될 수 있습니다:

$V_{X_i} = Z( [ \text{sim}(A(X_i), e'_1), \dots, \text{sim}(A(X_i), e'_K) ]^T )$ in $\mathbb{R}^K$

실제 운영 시의 치명적인 함정(Critical Production Pitfall): 연산자 $Z(v)$는 평균($\mu$)과 표준편차($\sigma$)를 행 단위(axis=1)가 아닌, 전체 앵커 축을 따라 열 단위(axis=0)로 계산해야 합니다. 행 단위 정규화(Row-wise normalization)는 서로 맞지 않는 모델들 사이의 전역적 도메인 시프트(global domain shift)를 제거하는 데 완전히 실패하며, 클러스터들을 고립된 상태로 유지합니다. 반면, 열 단위 정규화(Column-wise normalization)는 서로 다른 두 모델 도메인의 중심점(centroids)이 $(0,0)$에서 완벽하게 일치하도록 강제합니다.

4. 결과 및 선택적 태스크 라우팅 (The Result & Selective Task Routing)

표준화된 프로필 $V_{X_i}$와 $V_{T_j}$는 동일한 차원 $K$를 공유하고 통합된 스케일에서 작동하므로, 완전히 일치하지 않는 모델들 간의 의미론적 정렬(semantic alignment) 지표는 코사인 거리(Cosine Distance)를 사용하여 불변적으로 계산됩니다:

$D(X_i, T_j) = \text{Cosine_Distance}(V_{X_i}, V_{T_j})$

여기서 교과서적인 유클리드 거리(Euclidean distance, $L2$)를 사용하지 마십시오. 높은 앵커 차원($K > 20$)에서 유클리드 메트릭은 차원의 저주(curse of dimensionality)를 겪게 되며, 모든 거리를 대비가 없는 좁은 범위로 압축하여

코사인 거리 (Cosine distance)는 엄격한 대비 (contrast)를 복원하여, 단조로운 거리 행렬의 줄무늬를 모든 태스크가 진정한 최적의 에이전트를 찾을 수 있는 매우 선택적인 매칭 그리드 (matching grid)로 분해합니다. 이는 근본적으로 완전히 이질적인 멀티 에이전트 스웜 (multi-agent swarms)을 위한 $O(1)$ 복잡도의 태스크 라우팅 (task routing)을 가능하게 합니다. 구현 노트북 (Implementation Notebook): 합성 이방성 임베딩 (synthetic anisotropic embedding) 생성부터 Lowdin 직교화 (Lowdin orthogonalization), 정확한 열 단위 Z-점수화 (column-wise Z-scoring), 그리고 최종적인 대조적 태스크 라우팅 (contrastive task routing)에 이르기까지 전체 파이프라인을 보여주는 완전하게 작동하는 최소 재현 가능 예제 (minimal reproducible example)를 준비했습니다. 전체 대화형 코드는 여기에서 확인하세요: Kaggle Notebook: Heterogeneous LLM Embedding Space Alignment [IMG:1] 다른 분들도 모델 간 라우팅을 위해 상대적 표현법 (Relative Representations)을 사용하고 계시는지, 혹은 혼합 LLM 오케스트레이터 (mixed-LLM orchestrators)를 위한 다른 기하학적 해결책을 찾으셨는지 궁금합니다!