ArchSpace: LLM 아키텍처 연구 기록, 검토 및 참조

요약

LLM 아키텍처는 모델의 스케일링 동작과 비용을 결정하는 핵심 요소이나, 성공/실패 사례가 체계적으로 기록되지 않는 격차가 존재합니다. ArchSpace는 이 간극을 해소하기 위해 아키텍처 연구 기록, 검토, 참조를 위한 공개 플랫폼을 제공합니다. 이를 통해 스케일링 법칙 기반의 소규모 실험으로 대규모 모델 손실을 예측하고 차세대 모델 개발 아이디어를 확장하는 것을 목표로 합니다.

핵심 포인트

• ArchSpace는 아키텍처 연구 기록, 검토 및 참조를 위한 공개 플랫폼입니다.
• 모델의 스케일링 동작과 추론 비용 등 핵심 요소를 다룹니다.
• 스케일링 법칙을 활용하여 소규모 실험으로 대규모 모델 손실 예측이 가능합니다.
• Qwen3.5, OLMo3 기준선 및 재사용 가능한 학습 레시피를 초기 자료로 제공합니다.