Introducing talkie: 1930 년의 13B vintage 언어 모델 소개
요약
talkie는 1931년 이전 영어 텍스트로 훈련된 독특한 '빈티지' 언어 모델입니다. 이 프로젝트는 역사적 지식의 시간적 경계를 탐구하며, 이러한 구형 모델들이 미래를 예측하거나 시대적 한계를 넘어선 개념(예: 일반 상대성 이론)을 독립적으로 발견할 수 있는지에 대한 흥미로운 연구 목표를 제시합니다. talkie-it 버전은 규칙적인 구조의 역사적 텍스트와 합성 프롬프트를 사용하여 정교하게 파인튜닝된 채팅 인터페이스로, '빈티지' 지식 보존과 AI의 시간성 탐구라는 새로운 영역을 개척하고 있습니다. 이 모델은 저작권 문제가 없는 시대적 데이터를 활용하여 개발되었으며, 향후 더 발전된 단계에서는 빈티지 기반 자체를 판별자로 사용하여 현대적인 영향 없이 순수하게 시대적인 후처리(post-training) 파이프라인 구축을 목표로 하고 있습니다.
핵심 포인트
- talkie는 1931년 이전의 역사적 영어 코퍼스로만 훈련된 독특한 '빈티지' 언어 모델이다.
- 모델은 시간적 지식 경계(Knowledge Cutoff)를 넘어서는 능력, 즉 과거 데이터로 미래 개념을 추론하는 능력을 연구 목표로 삼는다.
- 채팅 버전(talkie-it)은 역사적 텍스트와 합성 프롬프트를 활용하여 정교하게 파인튜닝되었으며, 이는 '빈티지' 지식의 보존에 초점을 맞춘다.
- 이 프로젝트는 저작권 문제가 없는 시대적 데이터를 사용하여 모델을 개발함으로써 윤리적/법적 측면에서 독특한 접근 방식을 취한다.
- 궁극적으로 현대 LLM의 도움 없이 빈티지 기반 자체를 판별자로 사용하는 순수하게 시대적인 후처리 파이프라인 구축을 목표로 한다.
2026 년 4 월 28 일 - Link Blog
talkie 소개: 1930 년의 13B vintage 언어 모델 (via) Nick Levine, David Duvenaud, Alec Radford (GPT, GPT-2, Whisper 유명함) 의 새로운 프로젝트.
talkie-1930-13b-base (53.1 GB) 는 "1931 년 이전 영어 텍스트 260B 토큰으로 훈련된 13B 언어 모델"입니다.
talkie-1930-13b-it (26.6 GB) 는 "1931 년 이전 참고서에서 추출한 지시 응답 쌍의 새로운 데이터셋을 사용하여 fine-tuned"된 체크포인트로, 채팅 인터페이스를 구동하도록 설계되었습니다. 여기에서 시도해 볼 수 있습니다.
두 모델 모두 Apache 2.0 라이선스입니다. 기본 모델의 훈련 데이터는 저작권 없이 완전히 이루어져 있으며 (미국 저작권 종료일은 현재 1931 년 1 월 1 일), 나중에 훈련 데이터도 공개할지 기대합니다.
Update: Nick Levine 트위터:
더 많은 코퍼스 정보 발표 예정이며 (데이터 공유 또는 최소한 재현 스크립트 제공 노력).
그들의 보고서에는 이 모델 클래스에 대한 흥미로운 연구 목표가 포함되어 있습니다:
- 이러한 모델은 미래를 예측하는 데 얼마나 좋은가? "우리는 1931 년 이전 텍스트로 훈련된 13B 모델에 대한 역사적 사건 단락 설명의 놀라움 (surprisingness) 을 계산했습니다"
- 이 모델들은 지식 cutoff 를 넘어선 것을 발명할 수 있는가? "Demis Hassabis 가 묻는 대로, 1915 년 아인슈타인이 발견한 일반 상대성 이론을 1911 년까지 훈련된 모델이 독립적으로 발견할 수 있는가?"
- 그들은 프로그래밍을 가르칠 수 있는가? "Figure 3 (왼쪽) 은 이러한 테스트의 초기 예시로, 1931 년 이전 텍스트로 훈련된 모델이 몇 개의 Python 프로그램 예제에 대해 새로운 올바른 프로그램을 작성하는 능력을 측정합니다."
저는 "vegan models"라고 부르는 것에 대한 장기적인 관심을 가지고 있습니다 - 라이선스 또는 저작권 없이 훈련된 LLMs 입니다. 여기 기본 모델은 자격을 얻지만, 채팅 모델은 fine-tuning 에 현대 LLM 의 의존성으로 인해 완전히 순수하지 않습니다 - 강조:
먼저, 우리는 규칙적인 구조를 가진 역사적 텍스트 (예: 예절 매뉴얼, 서신 작성 매뉴얼, 요리책, 사전, 백과사전, 시 및 전설 모음집) 에서 지시 응답 쌍을 생성했습니다 (Figure 7 참조), 그리고 간단한 채팅 형식을 사용하여 기본 모델을 fine-tuning 했습니다.
다음으로, 지시 따르기 능력을 개선하기 위해 우리는 문서 요약, 직접 정보 요청에 대한 응답, 일관된 다중 턴 대화 진행 등 다양한 유형의 작업을 위한 합성 프롬프트를 생성했습니다. 우리는 이러한 프롬프트에서 생성된 rollouts 에서 온라인 직접 선호도 최적화를 실행했습니다.
Claude Sonnet 4.6 을 판별자로 사용했습니다. [...] 마지막으로, 우리는 Claude Opus 4.6 과 talkie 간의 rejection-sampled 다중 턹 합성 채팅을 사용하여 대화 능력의 지속적인 거친 부분을 매끄럽게 하는 supervised fine-tuning 를 다시 한 번 수행했습니다.
talkie 훈련의 주요 도전은 1931 년 이후 텍스트가 훈련 코퍼스에서 스며들거나 현대 LLM 의 fine-tuning 도움으로 안티크로니즘적 지식이 채팅 모델에 도입되는 우연한 오염을 피하는 것이었습니다.
저는 Mr. Chatterbox, 유사한 vintage 언어 모델 프로젝트에 대해 최근 글을 썼습니다 - 이 프로젝트도 현대 LLM 을 사용하여 합성 대화를 생성하여 채팅 모델을 훈련하는 데 도움을 주어야 했습니다.
talkie 팀은 궁극적으로 이러한 한계를 넘어설 것을 희망합니다:
우리는 talkie 를 현대 영향 없이 post-training 했지만, AI feedback 와 강화 학습은 inevitably talkie 의 행동을 안티크로니즘적으로 형성합니다. (7B 버전의 talkie 는 RL 에서 listicles 으로 말했습니다.) 우리가 규모를 확장하면, vintage base 모델 자체를 판별자로 사용하여 완전히 bootstrap 된 시대 적인 post-training 파이프라인을 가능하게 할 수 있을 것입니다.
저는 talkie demo 를 classic test prompt 로 테스트할 수 없었습니다:
Generate an SVG of a pelican riding a bicycle
그것은 응답했습니다:
An SVG of a pelican riding a bicycle was generated in 1860. The pelican was represented as perched on the saddle, with its long bill pointed
AI 자동 생성 콘텐츠
본 콘텐츠는 Simon Willison Blog의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기