LLM 의 Out-of-Distribution 입력 처리 방식: 두 경로 프레임워크

요약

본 논문은 기존의 백박스 OOD(Out-of-Distribution) 탐지 방법들이 시퀀스 길이 의존성으로 인해 구조적 혼란을 겪는 문제를 지적하며, 이를 해결하기 위해 '두 경로 프레임워크'를 제안합니다. 이 프레임워크는 입력 임베딩이 텍스트의 의미를 포착하는 능력과 레이어에 걸친 숨겨진 상태의 진화(처리 경로)라는 두 가지 독립적인 관점에서 OOD 신호를 식별합니다. 실험 결과, 각 경로는 서로 다른 유형의 OOD 공격을 탐지하는 데 강점을 보이며, 특히 임베딩 기반 방법은 단어 구별 OOD에, 처리 경로 기능은 은밀한 의도(Jailbreak) 입력 탐지에 효과적임을 입증했습니다.

핵심 포인트

• 기존 백박스 OOD 탐지 기법들은 시퀀스 길이 의존성으로 인해 신뢰도가 떨어지는 문제가 있음.
• 제안된 '두 경로 프레임워크'는 임베딩(의미 포착)과 처리 경로(숨겨진 상태 진화)라는 두 가지 독립적인 관점에서 OOD를 탐지함.
• 각 경로는 서로 다른 유형의 OOD 공격에 특화되어 있어, 상호 보완적으로 사용될 수 있음 (예: 임베딩은 단어 구별, 경로 기능은 은밀한 의도 탐지).
• 실험 결과는 두 경로가 독립적인 신호를 제공하며, 특히 처리 경로는 적대적 작업이 의미론적 작업을 능가하는 패턴을 보여줌으로써 그 유효성을 입증함.