In-Context Learning을 위한 회로(A Circuit for In-Context Learning)

원문 발행 2026. 11. 04. 03:44원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 논문은 임의 레이블을 가진 몇 가지 샷 문장 분류를 위한 새로운 ICL 회로를 제시합니다. 이 회로는 레이블 토큰 위치에 키-값 메모리를 구현하며, 중간 계층 어텐션 헤드가 이전 데모네이션 클래스를 기록하고 상위 계층이 이를 활용하여 예측하는 구조입니다. 이는 게이티드 연관 조회(gated associative lookup)로 작동합니다.

핵심 포인트

ICL을 위해 레이블-토큰 위치에 키-값 메모리를 구현함.
중간/상위 계층 어텐션 헤드가 클래스 정보를 저장하고 검색하는 역할을 함.
활성화 패치 및 헤드 제거를 통해 회로의 인과적 작동을 검증함.
이 메커니즘은 의미론적 개념으로 전이 가능하며 다양한 모델 크기에서 유지됨.

인컨텍스트 학습(In-context learning, ICL)은 사전 훈련된 언어 모델(pretrained language model)이 프롬프트 내의 데모네이션(demonstrations)으로 지정된 작업을 매개변수 업데이트 없이 수행할 수 있게 합니다. 임의의 레이블을 다루는 경우, 모델은 암기할 수 없는 매핑을 습득해야 하므로 학습이 단일 순방향 패스(single forward pass) 내에서 발생합니다. 이전 연구들은 후보 부분을 찾았지만, 이들이 어떻게 구성되는지에 대해서는 밝혀내지 못했습니다. 본 논문에서는 임의의 레이블을 가진 몇 가지 샷 문장 분류(few-shot sentence classification with arbitrary labels)에 대한 구성을 세 개의 3~4B 매개변수 트랜스포머에서 제시합니다. 이 모델은 레이블-토큰 위치(label-token positions)에 걸친 키-값 메모리(key-value memory)를 구현합니다: 각 레이블 토큰의 잔여 스트림(residual stream)은 레이블의 정체성을 인코딩하며, 중간 계층 어텐션 헤드(middle-layer attention heads)는 이전 데모네이션의 클래스를 키(key)로 여기에 기록합니다. 쿼리(query) 단계에서 상위 계층 헤드는 쿼리의 클래스와 저장된 키를 일치시키고 일치하는 레이블을 복사해냅니다. 초기 계층 신호(early-layer signal)는 어떤 레이블이 반복 게이트(repeated gates)를 가졌는지 판독하며, 이것이 없을 경우 리더(readers)는 프롬프트의 시작 부분에 주의를 기울이고 어떠한 레이블도 선호되지 않습니다. 별도의 헤드 세트는 가장 최근에 본 레이블을 억제합니다. 각 단계는 활성화 패치(activation patching)를 통해 인과적으로 확립되었으며, 무작위 헤드 기준선 대비 헤드 제거(head ablations)와 모델 자체 신호를 이용한 조향(steering)을 통해 검증되었습니다. 하나의 프롬프트 분포에 맞춰진 판독의 소프트맥스 모델은 헤드당 두 개의 상수를 사용하여 다른 분포를 예측합니다. 이 계산 과정은 세 가지 모델 전반에 걸쳐 보존되며, 명명된 헤드들만으로도 동일한 동작이 재현되고, 처음부터 훈련된 트랜스포머 역시 같은 부분을 성장시킵니다. 이 회로는 의미론적 개념(semantic concepts)과 의미를 가진 레이블로 전이될 수 있으며, 동일한 부분들이 인과 게이트(causal gate)와 함께 한 계열에서 0.6B부터 8B까지 나타나고 명령어 튜닝(instruction tuning)을 거치면서도 유지됩니다. 이 설정에서의 ICL은 데모네이션으로부터 예측으로 인과적으로 추적되는, 몇 가지 식별 가능한 구성 요소 유형들로 구축된 게이티드 연관 조회(gated associative lookup)입니다.

AI 자동 생성 콘텐츠

원문 바로가기

In-Context Learning을 위한 회로(A Circuit for In-Context Learning)

요약

핵심 포인트

댓글