K2 Horizon에 대한 AMA: IFM 팀 소개
요약
Institute of Foundation Models (IFM)이 개방적이고 독립적인 최첨단 기반 모델 개발을 목표로 K2 Horizon이라는 연결형 모델군을 출시했습니다. 이들은 0.9B부터 375B까지 다양한 크기의 여섯 개 모델과 함께 학습 데이터, 레시피, 코드 등 모든 자료를 오픈 소스로 공개합니다. AMA 세션을 통해 사전/사후 학습, 온디바이스 최적화, 희소 어텐션 등 기술 전반에 대한 질문을 받을 예정입니다.
핵심 포인트
- IFM은 개방적이고 독립적인 최첨단 기반 모델 개발에 집중합니다.
- K2 Horizon은 0.9B부터 375B까지 크기가 다른 여섯 개의 연결형 모델로 구성됩니다.
- 모델 가중치 외 학습 데이터, 레시피, 코드를 모두 오픈 소스로 공개했습니다.
- AMA를 통해 온디바이스 최적화 및 희소 어텐션 등 기술에 대해 논의할 예정입니다.
r/LocalLLaMA 여러분 안녕하세요! 저희는 개방적이고 독립적인 최첨단(frontier-class) 기반 모델 개발에 전념하는 AI 연구소인 Institute of Foundation Models (IFM)의 연구원들입니다. 최근에는 0.9B부터 375B까지 크기가 다양하고 완전하게 공개된 여섯 개의 모델로 구성된 연결형 모델군 K2 Horizon을 출시했습니다. 가중치(weights) 외에도, 저희는 학습 데이터와 레시피, 학습 코드, 중간 체크포인트(intermediate checkpoints), 세밀한 학습 로그 및 평가 자료를 오픈 소스로 공개했습니다. 사전 학습(pre-training)과 데이터 혼합에 관한 질문이든, 사후 학습(post-training), 온디바이스(on-device)의 소형 모델, MoVA 및 희소 어텐션(sparse attention), 배포(deployment), 현재 출시된 것들, 그리고 앞으로 나올 것에 관해 무엇이든 물어보세요. AMA에 참여하는 분들은 다음과 같습니다: Hector Liu u/hunterhector, Alexander Moreno u/IFMAlex, Mikhail Yurochkin u/my-moonfolk, Rupesh Srivastava u/k2pt, Junlin Chen u/Junlin_Chen110, Haonan Li u/East-Career9147. 저희는 현지 시간(PT) 10월 5일 월요일 오후 8시부터 10시까지 생방송으로 진행할 예정입니다. 질문은 지금도 받으니 언제든지 올려주세요! https://preview.redd.it/awu0r6fbowsh1.png?width=3240&format=png&auto=webp&s=860018e2d8aeb7575a1ddd11ed2c2f735948938d
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기