타겟 활성화 최소화: 대규모 언어 모델(LLM)에서 평가 인지 잠재 변수(Evaluation-Awareness Latents)의 입력 전용 억제

요약

LLM의 내부 잠재 변수를 제어하기 위해 추론 시점의 활성화 편집 대신 입력 프롬프트를 최적화하여 특정 특징을 억제하는 연구를 소개합니다. Llama 모델을 통해 평가 인지 잠재 변수를 억제하는 실험을 진행했으나, 활성화 읽기 가능성이 반드시 행동 제어 가능성으로 이어지지는 않는다는 한계를 발견했습니다.

핵심 포인트

• 입력 프롬프트 최적화를 통한 내부 잠재 변수 억제 기법 연구
• Llama-3.2 및 Llama-3.1 모델에서 특정 잠재 변수 억제 성공
• 활성화 읽기 가능성과 실제 행동 제어 가능성 사이의 불일치 확인
• 평가 인지 방향 억제가 모델의 행동적 평가 판단을 줄이지 못할 수 있음