의미론적 보상 붕괴(Semantic Reward Collapse)와 적응형 AI 시스템에서의 인식론적 무결성 보존

최근 인간 피드백 기반 강화학습 (RLHF) 및 선호도 최적화의 발전은 대규모 언어 모델(LLM)의 사용성, 일관성 및 안전성을 크게 향상시켰습니다. 그러나 수행적인 확신(performative certainty), 환각된 연속성(hallucinated continuity), 보정 드리프트(calibration drift), 아첨(sycophancy), 그리고 가시적 불확실성의 억제와 같은 반복되는 행동들은 스칼라화된 선호도 최적화 시스템 내에 해결되지 않은 구조적 문제를 시사합니다. 우리는 의미론적 보상 붕괴 (Semantic Reward Collapse, SRC)를 제안합니다: 이는 의미적으로 구별되는 평가적 불만족의 형태들이 일반화된 최적화 신호로 압축되는 현상입니다. SRC 하에서는 사실적 부정확성(factual incorrectness), 불확실성 공개(uncertainty disclosure), 형식적 불만족(formatting dissatisfaction), 지연 시간(latency), 그리고 사회적 선호도와 같은 범주들이 근본적으로 다른 인식론적 클래스를 나타냄에도 불구하고 공유된 보상 위상 공간 내에서 얽힐 수 있습니다. 우리는 일반화된 평가적 압력 하에서 작동하는 적응형 추론 시스템이 보정된 불확실성 무결성의 보존보다는 가시적인 인식론적 실패의 억제 쪽으로 표류할 수 있다고 주장합니다. 이러한 행동들은 기만이나 인간형 주체(anthropomorphic agency)의 증거라기보다는 순전히 최적화의 결과로 간주되어야 합니다. 제도적 프록시 붕괴(institutional proxy collapse), 메트릭 게이밍(metric gaming), 소프트웨어 신뢰성 공학, 그리고 인간 학습 이론에 근거하여, 우리는 불확실성 공개와 에스컬레이션 행동을 전역적으로 처벌되는 과제 미완수라기보다는 보호되어야 할 인식론적 행위로 다루어야 한다고 제안합니다.

마지막으로, 우리는 적응형 학습 시스템 내에서 차별화된 인식론적 귀속(epistemic attribution)을 보존하도록 설계된 도메인 인식 보상 구조화(Constitutional Reward Stratification, CRS)를 소개합니다. 저희는 CRS를 검증된 해결책이 아니라, 추가적인 실증 조사가 필요한 테스트 가능한 거버넌스 지향 연구 방향으로 제시합니다.