UniSteer: 다재다능한 LLM 스티어링을 위한 활성화 공간에서의 텍스트 가이드 Flow Matching
요약
UniSteer는 자연어 조건을 통해 LLM의 활성화 공간을 제어하는 새로운 플로우 매칭(Flow Matching) 모델을 제안합니다. 기존의 고정된 방향 방식과 달리, 보편적인 조건부 속도장을 학습하여 세밀한 개념과 복합적인 제약 조건을 유연하게 조절할 수 있습니다.
핵심 포인트
- 자연어 조건 기반의 텍외 가이드 활성화 플로우 매칭 제안
- 보편적 조건부 속도장 학습을 통한 유연한 스티어링 구현
- 플로우 역전(Flow inversion)을 통한 동결된 LLM 제어
- 행동 제어, 진실성, 다중 제약 조건 준수 등 통합 인터페이스 제공
활성화 기반 제어 (Activation-based control)는 추론 (Inference) 과정 중 대규모 언어 모델 (LLMs)의 내부 표현 (Internal representations)에 개입함으로써 모델을 조종하며, 페르소나 (Persona) 및 스타일 (Style)과 같은 행동을 제어하는 효과적인 패러다임으로 부상했습니다. 그러나 기존 방법들은 종종 고정된 스티어링 방향 (Steering directions)이나 작업 특화된 개입 모듈 (Task-specific intervention modules)에 의존하기 때문에, 세밀한 개념 (Fine-grained concepts)이나 복합적인 제약 조건 (Compositional constraints)에 적응하기 어렵다는 단점이 있습니다. 본 논문에서는 자연어 조건 (Natural-language conditions)으로부터 잔차 스트림 활성화 (Residual-stream activations)에 대한 조건부 분포를 학습하는 텍스트 가이드 활성화 플로우 매칭 (Text-guided activation flow matching) 모델인 UniSteer를 제안합니다. UniSteer는 각 타겟 행동에 대해 별도의 개입을 맞추는 대신, 활성화 공간 (Activation space)에서 보편적인 조건부 속도장 (Universal conditional velocity field)을 학습합니다. 추론 시점에 UniSteer는 소스 활성화 (Source activation)를 잠재 상태 (Latent state)로 부분적으로 이동시키고, 타겟 텍스트 조건 (Target textual condition) 하에서 이를 재생성한 뒤 동결된 (Frozen) LLM에 다시 주입하는 플로우 역전 (Flow inversion)을 수행합니다. 동일한 조건부 모델은 재구성 에너지 (Reconstruction energy)가 가장 낮은 텍스트 레이블을 선택함으로써 활성화 공간 분류 (Activation-space classification)를 지원합니다. 세 가지 타겟 LLM에 대한 실험 결과, UniSteer는 행동 제어 (Behavioral control), 진실성 스티어링 (Truthfulness steering), 세밀한 개념 스티어링 (Fine-grained concept steering), 다중 제약 조건 지시 따르기 (Multi-constraint instruction following) 및 활성화 공간 분류에 걸쳐 통합된 인터페이스를 제공함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기