언어 모델 표현 (Language model representations)에서의 인과적 개입 (Causal interventions)은 주로 문법적 수 (Grammatical number)와 같은 이산적 특징 (Discrete features)을 대상으로 해왔습니다. 하지만 언어 모델은 등급이 매겨진 (Graded) 특징들도 사용해야 합니다. 우리는 연속 변수 (Continuous variables)에 대한 인과적 개입 방법을 소개합니다. 등급이 매겨진 타겟 변수 (Target variable)와 쌍을 이루는 활성화 벡터 (Activation vectors)가 주어지면, 해당 변수를 위한 저차원 방향 (Low-dimensional direction)을 국소화하고, 이 방향을 사용하여 벡터를 반사실적 타겟 값 (Counterfactual target values)을 향하도록 편집합니다. 우리는 이 방법을 심리언어학 (Psycholinguistics)에서 잘 연구된 연속적 특징인 동사 편향 (Verb bias, 즉 특정 동사 뒤에 어떤 통사 구조 (Syntactic structures)가 따르는 경향이 있는지를 반영함)에 적용합니다. 우리는 동사 편향이 거대 언어 모델 (Large language models)에서 추출된 스티어링 벡터 (Steering vectors)에 인과적으로 표현되어 있음을 보여줍니다. 즉, 동사 편향에 대한 반사실적 편집 (Counterfactual edits)은 하위 구조적 선호도 (Downstream structural preferences)를 체계적으로 변화시킵니다. 동사 편향은 이전에도 인컨텍스트 러닝 (In-context learning)과 연관된 바 있습니다. 추가 분석을 통해, 우리는 스티어링 벡터가 인컨텍스트 러닝에서 관찰되는 오류 기반 업데이트 (Error-driven update) 동작을 유도할 수 있는 오류 신호 (Error signals)를 인코딩하고 있지만, 스티어링 벡터의 이러한 측면들이 하위 생성 (Downstream production) 과정에서 인과적으로 사용되지는 않는다는 것을 발견했습니다. 전반적으로, 이러한 결과는 인과적 개입이 연속 변수에도 적용될 수 있음을 보여주지만, 연속 변수를 인컨텍스트 러닝과 연결하는 것은 여전히 과제로 남아 있습니다.