Introducing talkie: 1930 년의 13B vintage 언어 모델 소개

요약

talkie는 1931년 이전 영어 텍스트로 훈련된 독특한 '빈티지' 언어 모델입니다. 이 프로젝트는 역사적 지식의 시간적 경계를 탐구하며, 이러한 구형 모델들이 미래를 예측하거나 시대적 한계를 넘어선 개념(예: 일반 상대성 이론)을 독립적으로 발견할 수 있는지에 대한 흥미로운 연구 목표를 제시합니다. talkie-it 버전은 규칙적인 구조의 역사적 텍스트와 합성 프롬프트를 사용하여 정교하게 파인튜닝된 채팅 인터페이스로, '빈티지' 지식 보존과 AI의 시간성 탐구라는 새로운 영역을 개척하고 있습니다. 이 모델은 저작권 문제가 없는 시대적 데이터를 활용하여 개발되었으며, 향후 더 발전된 단계에서는 빈티지 기반 자체를 판별자로 사용하여 현대적인 영향 없이 순수하게 시대적인 후처리(post-training) 파이프라인 구축을 목표로 하고 있습니다.

핵심 포인트

• talkie는 1931년 이전의 역사적 영어 코퍼스로만 훈련된 독특한 '빈티지' 언어 모델이다.
• 모델은 시간적 지식 경계(Knowledge Cutoff)를 넘어서는 능력, 즉 과거 데이터로 미래 개념을 추론하는 능력을 연구 목표로 삼는다.
• 채팅 버전(talkie-it)은 역사적 텍스트와 합성 프롬프트를 활용하여 정교하게 파인튜닝되었으며, 이는 '빈티지' 지식의 보존에 초점을 맞춘다.
• 이 프로젝트는 저작권 문제가 없는 시대적 데이터를 사용하여 모델을 개발함으로써 윤리적/법적 측면에서 독특한 접근 방식을 취한다.
• 궁극적으로 현대 LLM의 도움 없이 빈티지 기반 자체를 판별자로 사용하는 순수하게 시대적인 후처리 파이프라인 구축을 목표로 한다.