대규모 추론 모델(LRM)의 지시 이행 해결을 위한 보조 제약 조건의 가교 역할 연구

대규모 추론 모델 (Large Reasoning Models, LRMs)은 많은 작업에서 인상적인 능력을 보여주었으나, 개별 제약 조건을 충족하지 못하거나 상충하는 제약 조건들을 동시에 균형 있게 조절하는 데 어려움을 겪는 등 여러 지시 사항을 안정적으로 따르는 데 어려움을 겪고 있습니다. 우리는 이 과제를 제약 조건 준수 문제 (Constraint Adherence Problem, CAP)로 공식화합니다. 본 논문은 지시 사항을 제약 조건의 구조화된 지식 그래프 (knowledge graph)로 표현함으로써 CAP를 해결하는 새로운 프레임워크를 소개합니다. 우리의 접근 방식인 제약 관계 그래프 완성 (Constraint Relationship Graph Completion, CRGC)은 제약 조건 간의 관계를 명시적으로 모델링하고, 준수 과제를 식별하며, 모델이 요구 사항에 더 잘 집중하고 이를 조정할 수 있도록 돕는 "가교 제약 조건 (bridge constraints)"을 발견합니다. 가교 제약 조건은 주요 제약 조건을 더 두드러지게 하고 호환 가능하게 만드는 보조 지시 사항 (auxiliary instructions) 역할을 합니다. 일반적인 학습 방법을 통해 지시 이행을 강화하는 기존 방식과 달리, CRGC는 모델 자체의 지식을 활용하여 생성을 위한 더 나은 경로를 생성함으로써 제약 조건 충족을 구체적으로 개선합니다. 세 가지 대중적인 지시 이행 데이터셋을 통한 실험 결과, 우리의 접근 방식은 대규모 추론 모델의 추론 능력을 유지하면서도 표준 프롬프팅 (standard prompting) 대비 제약 조건 위반을 39% 감소시킴을 입증했습니다.