뉴로-심볼릭 구문 분석: CYK 알고리즘을 이용한 신경망 형성
요약
CYK 알고리즘을 신경망 구조에 직접 주입하는 CYKNN 구조를 제안합니다. 문맥 자유 문법 분석을 위해 행렬-벡터 곱셈을 활용한 RNN 구조를 사용하며, 기존 대규모 언어 모델보다 뛰어난 성능을 입증했습니다.
핵심 포인트
- CYK 알고리즘을 신경망 구조로 인코딩하는 CYKNN 제안
- 학습 가능한 행렬-벡터 곱셈을 통한 알고리즘 주입
- 20B 이상의 LLM 및 LoRA 미세 조정 모델보다 우수한 성능
- 뉴로-심볼릭 방법론의 새로운 접근 방식 제시
본 논문에서 우리는 알고리즘을 신경망 구조(Neural Network Architecture)에 직접 주입하는 가능성을 보여줍니다. 우리는 복잡한 알고리즘, 즉 Chomsky Normal Form의 문맥 자유 문법(Context-free Grammars)을 분석하기 위한 Cocke-Younger-Kasami (CYK) 알고리즘에 집중하며, 학습 가능한 행렬-벡터 곱셈(Matrix-vector Multiplications)으로 CYK 알고리즘을 인코딩하는 단순 순환 신경망(Recurrent Neural Network) 구조인 CYKNN을 제안합니다. 우리는 4가지 변형을 가진 매우 단순한 문법으로 실험을 진행하였으며, 우리의 접근 방식이 인컨텍스트 학습(In-context Learning) 설정에서의 20B(200억) 개 이상의 파라미터를 가진 기존 LLM(Large Language Models) 및 LoRA로 미세 조정(Fine-tuned)된 Qwen 제품군의 더 작은 LLM보다 성능이 뛰어남을 보여주었습니다. 우리의 시도는 뉴로-심볼릭(Neuro-symbolic) 방법론에 대한 색다른 접근 방식의 길을 열어줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기