조직들은 점점 더 조직의 가치를 따라야 하는 대규모 언어 모델(LLM) 에이전트를 배포하고 있습니다. 우리는 활성화 조향(activation steering), 즉 가중치(weights)를 변경하지 않으면서 생성 과정 중 모델의 내부 활성화(internal activations)에 벡터를 추가하는 방식이 단순한 프롬프팅만으로는 개선할 수 없는 규정 준수(compliance) 수준을 높일 수 있는지 확인합니다. 대부분의 시나리오가 여러 값을 동시에 포함하기 때문에, 우리는 다중 값 조향(multi-value steering)에 초점을 맞춥니다.
이러한 벡터를 구축하는 간단한 방법은 특정 시나리오와 관련된 모든 가치를 준수하는 응답과 이를 위반하는 응답을 대조하는 것입니다. 그러나 이 방식은 서로 다른 값들에 대해 거의 동일한 벡터를 제공합니다. 이는 개별적인 값을 포착하기보다는 일반적인 규정 준수 신호(general compliance signal)를 포착하므로, 여러 값을 결합할 때 사용에 한계가 있습니다.
이에 우리는 값 분리 활성화 조향(Value-Isolating Activation Steering, VIAS)을 제안합니다. VIAS는 동일한 시나리오에 대해 두 가지 프롬프트 하의 응답을 대조하는데, 하나는 관련된 모든 값을 나열하고 다른 하나는 단일 목표 값을 누락하는 방식입니다. 우리는 오직 목표 값이 준수(compliant)에서 비준수(non-compliant)로 변경되고, 동시에 두 응답 모두 다른 값들에 대해 최소 규정 준수 수준을 충족할 때만 쌍을 유지합니다.
우리는 각 시나리오가 21개 값 분류 체계(taxonomy)의 관련 값으로 태그된 직장 내 규정 준수 데이터셋인 PROTECT에서 VIAS를 평가했습니다. VIAS는 값 벡터 간의 중복도를 줄여 다중 값 조향에 더 적합하게 만들지만, 이것만으로는 각 값에 대한 독립적인 제어를 가져오지는 못합니다. 프롬프팅과 결합된 VIAS는 Qwen2.5-7B에서 69.6%, Mistral-7B에서 75.2%, Phi-3.5-mini에서 72.6%의 시나리오에서 모든 태그된 값을 준수하며, 이는 세 모델 모두에 대해 프롬프팅 단독 사용보다 우수한 성능을 보였습니다.