올렌 AI, 허깅페이스에서 올mppool 컨텍스트 확장 모델 출시
요약
올렌 AI가 허깅페이스에 올mppool(OlmPool)이라는 이름의 컨텍스트 확장 모델을 출시했습니다. 이 70억 파라미터 모델은 총 1500억 토큰으로 학습되었으며, 특히 구조적 선택지가 긴 컨텍스트 확장에 미치는 영향을 연구하는 데 초점을 맞추어 훈련되었습니다.
핵심 포인트
- 올렌 AI가 새로운 대규모 언어 모델(LLM)인 올mppool을 공개했습니다.
- 이 모델은 70억 개의 파라미터를 가지며, 매우 방대한 양의 데이터(1500억 토큰)로 학습되었습니다.
- 주요 연구 목적은 구조적 선택지가 긴 컨텍스트 확장 성능에 미치는 영향을 분석하는 것입니다.
올렌 AI(Allen AI) 가 허깅페이스(Hugging Face) 에서 올mppool(OlmPool) 컨텍스트 확장 모델을 출시했습니다.
이 70 억 (7B) 파라미터 체크포인트는 1500 억 (150B) 토큰으로 학습되었으며, 구조적 선택지가 긴 컨텍스트 확장에 미치는 영향을 연구하기 위해 훈련되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기5