다음 개념 모델링(NCM) 및 트랜스포머 해석 가능성 탐구: 20가지 탐색 연구 및 제어 장치 저장소 [P]

요약

본 글은 Next-Concept Modeling(NCM)과 트랜스포머의 기계적 해석 가능성에 초점을 맞춘 20가지 탐색 연구를 담은 오픈 소스 저장소를 공유합니다. 이 프로젝트는 GPT-2 등 모델이 내부 특징을 처리하고 편집하는 과정을 실증적으로 기록한 독립적인 실험 문서입니다. 성능상의 돌파구보다는 엄격한 제어 장치와 함께 관찰된 내용을 투명하게 기록하는 데 중점을 두었습니다.

핵심 포인트

• NCM 및 트랜스포머 해석 가능성 연구를 담은 오픈 소스 저장소를 제공합니다.
• GPT-2 등 모델의 내부 특징 처리 과정을 실증적으로 문서화했습니다.
• 성능보다는 투명한 관찰과 엄격한 제어 장치에 초점을 맞춘 탐구입니다.
• Sudoku 같은 구조화된 작업 및 병렬 모델 실험을 포함합니다.