순차적 코딩(Requential Coding): 자체 생성 훈련 데이터로 모델 압축의 한계를 확장하다

요약

본 논문은 'requential coding'이라는 새로운 압축 기법을 제안합니다. 이 방법은 훈련 궤적을 효율적으로 압축하여, 모델의 크기나 데이터 엔트로피에 관계없이 매우 짧고 강력한 코드를 생성할 수 있습니다. 이는 대규모 언어 모델(LLM)의 일반화 성능과 컴퓨팅 최적 영역에서의 이론적 경계를 개선하는 데 기여합니다.

핵심 포인트

• requential coding은 훈련 궤적을 압축하여 코드 길이를 단축시킵니다.
• 모델 크기 및 데이터 엔트로피에 독립적인 압축 효율성을 제공합니다.
• LLM의 일반화 보장(generalization guarantees)을 개선하는 이론적 기반을 제시합니다.
• 데이터셋 내 학습 가능한 정보와 무작위 콘텐츠를 분리하여 분석합니다.