창의적 품질 정렬 (Creative Quality Alignment): Chain-of-Thought 미세 조정을 통한 전문가 암묵적 지식 전이
요약
본 논문은 창의적 품질 지표를 엔지니어링 관점에서 구현하고, CoT 미세 조정을 통해 전문가의 암묵적 지식을 전이하는 CQA 방법론을 제안합니다. 적은 데이터와 작은 모델 환경에서도 아키텍처의 쌍대성을 통해 생성 품질이 개선됨을 이론적·경험적으로 입증합니다.
핵심 포인트
- 창의적 품질 정렬(CQA) 방법론 제안
- 적은 데이터(100개 CoT)로도 효과적인 지식 전이 가능
- LLM 아키텍처의 쌍대성을 통한 생성 품질 자동 전이 입증
- 기존 정렬 데이터셋의 기술 편향 및 논리 범위 취약성 지적
본 논문은 Calibrated Surprise (Zou & Xu, 2026a)에서 제안된 창의적 품질 지표 (creative quality metric)에 대한 경험적 구현을 제공합니다. 이 논문이 다루는 질문은 다음과 같습니다: 이 수학적 주장이 엔지니어링 수준에서도 유효한가? 답변을 가능한 한 일반화하기 위해, 우리는 의도적으로 가장 엄격한 엔지니어링 조건인 낮은 데이터 비용과 작은 베이스 모델 (base model)을 선택했습니다. 학습 데이터는 BC Protocol (Zou & Xu, 2026b)을 통해 생성된 약 100개의 전문가 사고 사슬 (Chain-of-Thought, CoT) 주석에서 가져왔습니다. 또한 우리는 데이터 편향 (data bias)을 확인했습니다: 공개적으로 사용 가능한 대부분의 정렬 (alignment) 데이터셋은 기술 관련 지식에 치우쳐 있는 반면, 청중 모델링 (audience modeling) 및 현실-논리 범위 (reality-logic coverage)는 체계적으로 취약합니다. 우리는 이러한 종류의 엔지니어링 방법론을 설명하기 위해 창의적 품질 정렬 (Creative Quality Alignment, CQA)이라는 용어를 사용합니다. 또한 우리는 이를 뒷받침하는 이론적 관찰을 제시합니다: 단일 조건부 분포 아키텍처 (single conditional distribution architecture)를 가진 LLM에서, 감상 측면 (appreciation side)을 보정하는 것은 아키텍처의 쌍대성 (architectural duality)을 통해 생성 측면 (generation side)으로 자동 전이됩니다. 이것이 약 100개의 CoT 예시가 충분한 구조적 이유이며, 이는 LIMA (Zhou et al., 2023)와 같은 순수하게 경험적인 관찰이 아닙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기