Subliminal Steering: 숨겨진 신호의 강력한 인코딩

요약

이 기술 기사는 '서브릴리널 스티어링(Subliminal Steering)'이라는 개념을 도입하여, 언어 모델이 데이터에 숨겨진 편향을 학습하는 현상(서브릴리널 학습)의 세 가지 주요 미해결 질문을 해결합니다. 기존 연구가 시스템 프롬프트 기반이었다면, 서브릴리널 스티어링은 타겟 샘플의 가능도를 최대화하도록 훈련된 '스티어링 벡터'를 사용하여 편향을 구현하는 변형입니다. 이 방법론을 통해 복잡한 다단어 편향 전달 능력, 모델이 편향뿐만 아니라 스티어링 메커니즘 자체도 학습한다는 점, 그리고 놀라울 정도로 높은 정밀도로 편향이 인코딩됨을 입증했습니다.

핵심 포인트

• 서브릴리널 스티어링은 시스템 프롬프트 대신 훈련된 '스티어링 벡터'를 사용하여 언어 모델의 편향을 구현하는 새로운 방법론이다.
• 이 기법은 단일 단어에 국한되지 않고 복잡한 다단어 형태의 행동적 편향까지 전달할 수 있음을 입증했다.
• 서브릴리널 학습은 목표 편향 외에도 스티어링 벡터 자체와 같은 메커니즘적인 정보도 모델에 전달할 수 있다.
• 편향이 매우 높은 정밀도로 인코딩되어, 데이터셋에서 직접 훈련된 벡터가 원본 벡터와 높은 코사인 유사도를 보였다.