Gyan: 설명 가능한 신경 기호 언어 모델

트랜스포머 기반의 사전 학습 대형 언어 모델은 이제 보편화되었습니다. 대규모 사전 학습이 있어도 이러한 모델들은 완전한 구성적 문맥을 포착하지 못하며, 특히 인간과 유사한 완전한 문맥은 더더욱 아닙니다. 또한, 아키텍처의 본질에 의해 이러한 모델들은 환각 (hallucinate) 을 일으키며, 유지 관리가 어렵고 해석이 용이하지 않으며, 학습 및 추론을 위해 막대한 컴퓨팅 자원을 필요로 합니다. 여기서는 이러한 제한점 없이 새로운 트랜스포머 아키텍처를 기반으로 한 설명 가능한 언어 모델인 Gyan 을 소개합니다. Gyan 은 3 개의 널리 인용된 데이터셋에서 최상위 성능 (SOTA) 을 달성하고, 두 가지 독점 데이터셋에서는 우수한 성능을 보입니다. 새로운 아키텍처는 언어 모델을 지식 획득 및 표현과 분리합니다. 이 모델은 수사적 구조 이론 (rhetorical structure theory), 의미역할 이론 (semantic role theory), 그리고 지식 기반 계산언어학에 기반을 둡니다. Gyan 의 의미 표현 구조는 완전한 구성적 문맥을 포착하며, 이를 '세계 모델 (world model)'로 확장하여 인간을 모방합니다. AI 모델의 채택은 특히 사임 임계 (mission critical) 사용 사례에서 신뢰성과 투명성에 크게 의존합니다. 우리 연구 결과는 사임 임계 작업을 위해 신뢰할 수 있고 확실한 모델을 생성하는 것이 가능함을 보여줍니다. 우리는 이 작업이 언어 모델에 대한 투명하고 신뢰할 수 있는 아키텍처 개발을 안내하는 데 엄청난 잠재력을 가지고 있다고 믿습니다.