지식은 어디로 유입되어야 하는가? 멀티모달 반복 생성 모델(Multimodal Iterative Generative Models)의 지식

멀티모달 생성 모델(Multimodal generative models)은 유창한 출력을 생성하지만, 생성이 구조화된 지식, 도메인 특화 지식 또는 안전이 중요한 지식을 준수해야 할 때는 여전히 신뢰할 수 없는 상태로 남아 있습니다. 기존 방법들은 프롬프트 증강(prompt augmentation), 가이드(guidance), 잠재 편집(latent editing) 또는 미세 조정(fine-tuning)과 같은 메커니즘을 통해 지식을 통합하지만, 이들은 일반적으로 생성 과정의 어떤 구성 요소를 수정하느냐가 아니라 기술(technique)에 따라 분류됩니다. 우리는 반복적 생성 모델(iterative generative models)에서의 지식 주입이 근본적으로 개입 계층(intervention-layer) 문제라고 주장합니다. 생성 과정은 내부 상태(internal states)의 궤적(trajectory)으로 전개되므로, 지식은 이 과정의 구조적으로 구별되는 네 가지 구성 요소, 즉 입력/출력 경계(input/output boundary), 전이 함수(transition function), 중간 상태(intermediate state), 그리고 모델 파라미터(model parameters)에 작용할 수 있습니다. 이는 표면(surface), 궤적(trajectory), 잠재(latent), 그리고 파라미터(parametric) 주입이라는 네 가지 개입 계층으로 매핑됩니다. 우리는 확산 모델(diffusion models)에서 이 프레임워크를 구체화하고, 대표적인 방법들을 네 가지 계층 모두에 매핑하며, 다층 구성(multi-layer composition)을 위한 설계 원칙을 도출합니다. 두 개의 확산 백본(diffusion backbones)과 멀티모달 지식 그래프(multimodal knowledge graph)를 사용한 통제된 안전 정렬(safety-alignment) 실험에서, 우리는 네 가지 계층 중 세 가지인 표면(입력 측 및 출력 측)과 궤적-잠재(생성 중간 단계) 계층을 누적적으로 구현합니다. 우리는 경험적으로 각 추가 계층이 이전 계층이 도달할 수 없는 실패 클래스(failure classes)를 해결하며, 바닐라 생성(vanilla generation) 대비 지식 위반 출력을 70.97% 감소시킴으로써 프레임워크의 상호 보완성 예측을 실증적으로 확인합니다.