ICED 소개: 소형 언어 모델(SLM)로 지시 이행 지능을 압축하기 위한 프레임워크

안녕하세요 여러분!
지난 몇 달 동안 저는 ICED (Instruction Compression & Embedding Distillation, 지시 압축 및 임베딩 증류)라는 연구 프로젝트를 진행해 왔습니다. 이 프레임워크는 더 큰 언어 모델(LLM)의 지시 이행(instruction-following) 및 추론(reasoning) 능력을 가능한 한 많은 유용한 지식을 보존하면서 훨씬 더 작은 모델로 전달하도록 설계되었습니다.
목표는 간단합니다:
이 프레임워크의 첫 번째 공개 결과물로 다음을 출시했습니다:
🚀 SLM-FRIDGE-0.5B
Qwen2.5-0.5B 아키텍처를 기반으로 구축되었으며 ICED 프레임워크를 사용하여 학습된 0.5B 파라미터 언어 모델입니다.
벤치마크 결과

벤치마크 점수

MMLU 47.59
GSM8K (5-shot) 35.33
ARC Challenge 29.01
ARC Challenge (Norm) 32.76
HellaSwag 40.68
HellaSwag (Norm) 52.18
TruthfulQA MC2 39.77
Winogrande 56.51

MMLU 세부 분석

사회 과학 (Social Sciences): 55.93
기타 (Other): 53.04
인문학 (Humanities): 42.23
STEM: 42.09

일부 도메인별 주요 수치:

마케팅 (Marketing): 74.79%
미국 외교 정책 (US Foreign Policy): 76.00%
컴퓨터 보안 (Computer Security): 71.00%
국제법 (International Law): 71.07%
사회학 (Sociology): 69.65%

ICED란 무엇인가요?
ICED는 더 큰 모델이 학습한 지시 공간(instruction space)을 컴팩트한 언어 모델로 압축하는 데 중점을 둔 학습 프레임워크입니다.
미세 조정 (fine-tuning)을 단순히 출력을 맞추는 과정으로 취급하는 대신, ICED는 더 큰 모델을 유용하게 만드는 근본적인 지시 표현 (instruction representations)을 보존하는 것을 목표로 합니다.
장기적인 목표는 소비자용 하드웨어에서 효율적으로 실행되면서도 훨씬 더 큰 모델들과 경쟁할 수 있는 매우 유능한 소형 언어 모델 (Small Language Models, SLM) 제품군을 만드는 것입니다.
이번 출시는 그 방향을 향한 첫 번째 공개 단계입니다.
저는 커뮤니티로부터 다음과 같은 피드백을 기다리고 있습니다:

벤치마크 범위 (다음에 무엇을 평가해야 할까요?)
실패 사례 (Failure cases)
흥미로운 다운스트림 작업 (downstream tasks)
다른 0.5B 이하 모델들과의 비교
ICED 프레임워크 개선을 위한 제안

저장소 (Repository):
https://huggingface.co/loaiabdalslam/SLM-FRIDGE-ICED-0.5B-32BQWEN
어떤 피드백이나 아이디어라도 주시면 정말 감사하겠습니다. 살펴봐 주셔서 감사합니다!

I
Submitted by /u/stopwwIII to r/OpenAI
[link] [comments]