LLM을 이용한 예측: 피처 스티어링 (Feature Steering)을 통한 일반화 성능 향상

성공적인 예측은 미래의 관측값으로 일반화될 수 있는 과거와 미래 상태 사이의 패턴을 식별하는 것을 포함합니다. 우리는 다양한 예측 작업에 LLM을 적용하고, 희소 오토인코더 (Sparse Autoencoders)를 사용하여 내부 상태를 조사함으로써, 모델이 시간 특정적인 지식에 의존하는지 아니면 일반화 가능한 패턴에 의존하는지 확인합니다. 우리의 분석은 시간 인지적 추론 (Time-aware reasoning) 및 앞서 보기 편향적 추론 (Look-ahead-biased reasoning)과 관련된 피처 (Features)들을 식별합니다. 그런 다음 우리는 LLM을 완전히 다른 도메인에 적용하고 이러한 피처들에 개입 (Intervene)합니다. 우리는 시간 인지 피처를 증폭시키는 것이 일반적인 추론 성능을 유지하면서도, 예측 프롬프트에서의 앞서 보기 편향 (Look-ahead bias)을 실질적으로 감소시킨다는 것을 발견했습니다. 반면, 후보가 되는 앞서 보기 편향 피처를 스티어링 (Steering)하는 것은 효과를 나타내지 않았습니다. 이러한 결과는 해석 가능한 시간적 피처 (Temporal features)가 LLM을 보다 역사적으로 근거 있는 추론으로 인과적으로 전환하는 데 사용될 수 있음을 시사합니다.