Plan Canvas: 연속적인 언어 흐름을 위한 고정 추론 영역
요약
본 논문은 연속적인 언어 흐름 모델에 추론 능력을 추가하기 위해 Plan Canvas를 제안합니다. 이 방법은 답변 시작 지점을 고정된 계획 영역(plan region)으로 분리하여, 노이즈 제거 과정에서 발생하는 불확실성을 해결합니다. 그 결과, ProsQA와 Deep ProsQA 같은 그래프 벤치마크에서 정확도 및 유효 경로 비율을 크게 향상시켰습니다.
핵심 포인트
- Plan Canvas는 답변 시작 지점을 고정된 계획 영역으로 분리하여 추론의 불확실성을 해결합니다.
- 고정된 계획 영역은 간결한 흔적을 담아 모델이 구조화된 사고 과정을 거치게 합니다.
- Deep ProsQA 벤치마크에서 정확도가 73.0%에서 87.0%로 크게 향상되었습니다.
연속적인 언어 흐름(Continuous language flows)은 목표 캔버스(target canvas)의 모든 위치를 함께 노이즈 제거하여 텍스트를 생성합니다. 이러한 모델에 추론 능력을 추가하는 자연스러운 방법은 답변 앞에 흔적(trace)을 작성하는 것이지만, 이 흔적의 길이는 질문마다 달라집니다. 따라서 답변 시작 지점은 노이즈 제거 과정 중 알 수 없으며, 모델은 동시에 흔적 길이, 모든 흔적 토큰의 위치, 그리고 답변을 결정해야 합니다. 우리는 추론과 답변 사이의 경계를 고정하기 위해 Plan Canvas를 제안합니다. 고정된 용량의 계획 영역(plan region)은 간결한 흔적을 담고, 지도 학습 패딩(supervised padding)이 사용되지 않은 위치를 채우며, 답변은 고정된 위치에서 시작합니다. 이 고정된 영역들은 또한 계획과 답변에 대한 별도의 노이즈 제거 클럭을 허용합니다. 자유로운 추적 기준선(free-trace baseline)의 흔적 텍스트, 백본(backbone), 그리고 캔버스 길이가 고정된 상태에서, Plan Canvas는 ProsQA와 더 긴 증명을 가진 그래프 벤치마크인 Deep ProsQA에서 정확도를 향상시킵니다. Deep ProsQA에서 정확도는 73.0%에서 87.0%로 상승하며, 유효한 경로로 답변되는 질문의 비율은 30.8%에서 59.1%로 상승하고, 이러한 개선 효과는 가장 긴 증명에서 가장 크게 나타납니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기