개념적 스티어링을 위한 Conceptors

요약

Conceptors는 기존 LLM 제어 방식인 활성화 기반 스티어링의 한계를 극복하기 위해 제안된 새로운 개념적 스티어링 방법론입니다. 이는 단일 방향 대신, 개념 전체의 다차원 부분공간을 보존하는 부드러운 투영 행렬(soft projection matrices)을 사용하여 LLM의 행동을 제어합니다. Conceptors는 닫힌 형태의 논리 연산(AND, OR, NOT)을 지원하며, 여러 의미론적 차원에서 개념 분리성을 평가하고 다차원 레이어에서 높은 성능과 안정성을 입증했습니다.

핵심 포인트

• Conceptors는 LLM 제어 시 단일 방향 스티어링의 한계를 극복하고, 개념 전체의 다차원 부분공간을 보존합니다.
• 이 방법론은 닫힌 형태의 논리 연산(AND, OR, NOT)을 지원하여 복잡한 주제 관련 하개념 간의 구성성 평가가 가능합니다.
• Conceptors는 파라미터 없이 레이어 선택 진단 및 개념 분리성을 예측할 수 있는 도구를 제공합니다.
• 다차원 디자인 스페이스에서 Conceptors는 기존 방식보다 기하학적으로 원칙적이며, 퇴화 출력(degenerate outputs)을 줄여 실용적인 안정성을 높입니다.