업데이트의 기하학: 어휘 규모에서의 Fisher 정렬 (Fisher Alignment)

공유된 어휘(vocabulary)를 가진 LLM 제품군을 위한 훈련 불필요(training-free) 소스 선택은 SMILES, 단백질, 게놈 서열과 같은 과학적 문자열 도메인에서 발생하며, 여기서 후보 코퍼스들은 토크나이저(tokenizer)를 공유하지만 예측 대상(prediction targets)은 서로 다릅니다. 이는 활성화 암흑(activation-dark) 영역을 생성합니다. 즉, 레이블 조건부 오차 기하학(label-conditioned error geometry)에 대한 가정이 없다면 표현 유사도(representation-similarity) 지표는 정보를 제공하지 못할 수 있으며, 고전적인 업데이트 기하학(update-geometry) 지표는 어휘 규모(vocabulary scale)에서 계산 비용이 지나치게 높습니다. 우리는 공유 출력 헤드(shared-output head) 설정에서 표현 지표(예: CKA)가 전이(transfer)를 위해 식별 불가능(non-identifiable)하다는 것을 보여줍니다. 즉, 모델들이 동일한 표현을 공유하면서도 직교하는 헤드 업데이트(head updates)를 가질 수 있습니다. 핵심적인 항등식은 헤드 Fisher 정렬(Fisher alignment)이 결합된 활성화-오차 공간(joint activation-error space)에서의 커널 평균 임베딩(kernel mean embeddings) 사이의 코사인(cosine) 값과 정확히 일치한다는 것이며, 이는 구체화된 Fisher 행렬(Fisher matrix)을 요구하는 대신 활성화, 오차 및 결합 요인(coupling factors)을 드러냅니다. FisherSketch는 단일 스트리밍 패스(streaming pass)에서 이 코사인을 직접 추정하며, 이를 통해 16 KB 태스크 시그니처(task signature, m=4096)와 태스크당 192 KB의 스트리밍 상태(streaming state)만으로 K=128,256 헤드 Fisher 정렬을 실용적으로 수행할 수 있게 합니다. 이는 모델 해시(model hash) 옆에 저장하기에 충분히 작으면서도 전이에 관련된 업데이트 구조를 인코딩합니다. 소스 선택을 넘어, 동일한 시그니처와 주변값(marginals)은 LLM 태스크 유사성이 활성화, 오차 또는 이들의 결합에 의해 주도되는지 연구하기 위한 진단 도구를 제공합니다. 공유 파라미터(shared-parameter) 및 내부 레이어(internal-layer) 검증과 Llama-3.1-8B 버벌라이저 시프트(verbalizer-shift) 실험을 통해, FisherSketch는 활성화 유사도가 태스크를 구별할 수 없을 때도 유용한 정보를 유지함을 보여줍니다.