Introducing talkie: 1930 년의 13B vintage 언어 모델 소개

2026 년 4 월 28 일 - Link Blog

talkie 소개: 1930 년의 13B vintage 언어 모델 (via) Nick Levine, David Duvenaud, Alec Radford (GPT, GPT-2, Whisper 유명함) 의 새로운 프로젝트.

talkie-1930-13b-base (53.1 GB) 는 "1931 년 이전 영어 텍스트 260B 토큰으로 훈련된 13B 언어 모델"입니다.

talkie-1930-13b-it (26.6 GB) 는 "1931 년 이전 참고서에서 추출한 지시 응답 쌍의 새로운 데이터셋을 사용하여 fine-tuned"된 체크포인트로, 채팅 인터페이스를 구동하도록 설계되었습니다. 여기에서 시도해 볼 수 있습니다.

두 모델 모두 Apache 2.0 라이선스입니다. 기본 모델의 훈련 데이터는 저작권 없이 완전히 이루어져 있으며 (미국 저작권 종료일은 현재 1931 년 1 월 1 일), 나중에 훈련 데이터도 공개할지 기대합니다.

Update: Nick Levine 트위터:

더 많은 코퍼스 정보 발표 예정이며 (데이터 공유 또는 최소한 재현 스크립트 제공 노력).

그들의 보고서에는 이 모델 클래스에 대한 흥미로운 연구 목표가 포함되어 있습니다:

• 이러한 모델은 미래를 예측하는 데 얼마나 좋은가? "우리는 1931 년 이전 텍스트로 훈련된 13B 모델에 대한 역사적 사건 단락 설명의 놀라움 (surprisingness) 을 계산했습니다"
• 이 모델들은 지식 cutoff 를 넘어선 것을 발명할 수 있는가? "Demis Hassabis 가 묻는 대로, 1915 년 아인슈타인이 발견한 일반 상대성 이론을 1911 년까지 훈련된 모델이 독립적으로 발견할 수 있는가?"
• 그들은 프로그래밍을 가르칠 수 있는가? "Figure 3 (왼쪽) 은 이러한 테스트의 초기 예시로, 1931 년 이전 텍스트로 훈련된 모델이 몇 개의 Python 프로그램 예제에 대해 새로운 올바른 프로그램을 작성하는 능력을 측정합니다."

저는 "vegan models"라고 부르는 것에 대한 장기적인 관심을 가지고 있습니다 - 라이선스 또는 저작권 없이 훈련된 LLMs 입니다. 여기 기본 모델은 자격을 얻지만, 채팅 모델은 fine-tuning 에 현대 LLM 의 의존성으로 인해 완전히 순수하지 않습니다 - 강조:

먼저, 우리는 규칙적인 구조를 가진 역사적 텍스트 (예: 예절 매뉴얼, 서신 작성 매뉴얼, 요리책, 사전, 백과사전, 시 및 전설 모음집) 에서 지시 응답 쌍을 생성했습니다 (Figure 7 참조), 그리고 간단한 채팅 형식을 사용하여 기본 모델을 fine-tuning 했습니다.

다음으로, 지시 따르기 능력을 개선하기 위해 우리는 문서 요약, 직접 정보 요청에 대한 응답, 일관된 다중 턴 대화 진행 등 다양한 유형의 작업을 위한 합성 프롬프트를 생성했습니다. 우리는 이러한 프롬프트에서 생성된 rollouts 에서 온라인 직접 선호도 최적화를 실행했습니다.

Claude Sonnet 4.6 을 판별자로 사용했습니다. [...] 마지막으로, 우리는 Claude Opus 4.6 과 talkie 간의 rejection-sampled 다중 턹 합성 채팅을 사용하여 대화 능력의 지속적인 거친 부분을 매끄럽게 하는 supervised fine-tuning 를 다시 한 번 수행했습니다.

talkie 훈련의 주요 도전은 1931 년 이후 텍스트가 훈련 코퍼스에서 스며들거나 현대 LLM 의 fine-tuning 도움으로 안티크로니즘적 지식이 채팅 모델에 도입되는 우연한 오염을 피하는 것이었습니다.

저는 Mr. Chatterbox, 유사한 vintage 언어 모델 프로젝트에 대해 최근 글을 썼습니다 - 이 프로젝트도 현대 LLM 을 사용하여 합성 대화를 생성하여 채팅 모델을 훈련하는 데 도움을 주어야 했습니다.

talkie 팀은 궁극적으로 이러한 한계를 넘어설 것을 희망합니다:

우리는 talkie 를 현대 영향 없이 post-training 했지만, AI feedback 와 강화 학습은 inevitably talkie 의 행동을 안티크로니즘적으로 형성합니다. (7B 버전의 talkie 는 RL 에서 listicles 으로 말했습니다.) 우리가 규모를 확장하면, vintage base 모델 자체를 판별자로 사용하여 완전히 bootstrap 된 시대 적인 post-training 파이프라인을 가능하게 할 수 있을 것입니다.

저는 talkie demo 를 classic test prompt 로 테스트할 수 없었습니다:

Generate an SVG of a pelican riding a bicycle

그것은 응답했습니다:

An SVG of a pelican riding a bicycle was generated in 1860. The pelican was represented as perched on the saddle, with its long bill pointed