Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 모델이 '사실을 학습하는 것'과 '사실을 검색하는 것'을 분리하여 이해할 수 있음을 제시합니다. 두 단계의 훈련을 통해, 요청 형식에 따라 사실 검색 능력이 달라지며, 이 과정에서 답변 직전의 은닉 상태인 '컨텍스트 상태(context state)'가 중요한 역할을 함을 밝혀냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모델이 "X의 수도는 Y이다"라는 문장으로 훈련되었을 때, "X의 수도는" 다음에 "Y"를 생성할 수는 있지만, "X의 수도:" 다음에 대해서는 실패할 수 있습니다. 우리는 이러한 동일한 사실 요청 방식을 유도하는 여러 가지 방법을 부릅니다. 사실 학습과 사실 검색을 분리하기 위해, 우리는 두 개의 모델을 두 단계에 걸쳐 훈련시킵니다. 첫 번째 단계(요청 형식 훈련)에서는 한 모델이 각 사실을 다섯 가지 형식으로 보고 다른 모델은 동일한 사실들을 오직 진술문으로만 보게 합니다. 두 번째 단계(목표 사실 훈련)에서는 두 모델 모두 새로운 사실들에 대해, 모두 진술문의 형태로 동일하게 받습니다. 그 결과, 두 모델 모두 진술문으로부터 새로운 사실들을 거의 동등하게 잘 검색하지만, 다른 요청 형식에 대해서는 확연한 차이를 보입니다. 따라서, 모델은 사실을 학습하기 전에 요청 형식을 통해 검색하는 방법을 먼저 배울 수 있습니다. 이 차이를 이해하기 위해, 우리는 답변 바로 직전의 은닉 상태를 조사하며, 이를 컨텍스트 상태(context state)라고 부릅니다. 같은 사실에 대해 두 가지 다른 요청 형식이 주어졌을 때, 첫 번째 단계에서 다섯 가지 형식으로 훈련된 모델은 해당 단계에서 오직 진술문으로만 훈련된 모델보다 더 유사한 컨텍스트 상태를 생성합니다. 검색 시 이 상태를 변경하는 것은 이미 학습된 사실의 검색을 가능하게 하거나 막을 수 있으며, 이러한 효과는 수도나 통화와 같은 다른 사실 및 사실 관계에도 전이됩니다. 학습 중 그 역할을 테스트하기 위해, 우리는 목표 사실 훈련 중에만 컨텍스트 상태를 변경합니다. 이 개입은 테스트 시점에 개입하지 않고도 나중의 검색에 변화를 줍니다. 종합적으로, 이러한 결과들은 나중의 검색이 이전의 요청 형식 경험과 사실 학습 중의 컨텍스트 상태에 의존한다는 것을 보여줍니다.