Library of Layers (LoL): 런타임에서 트랜스포머 레이어를 적응적으로 순서화하기

요약

LoL(Library of Layers)은 추론 과정에서 트랜스포머 레이어 순서를 동적으로 지정하는 새로운 아키텍처를 제안합니다. 이는 기존의 고정된 구조와 달리, 밀집형, 깊이 순환형, MoE 등 다양한 모델의 효율성 트레이드오프를 하나의 통합 계열로 일반화했습니다. LoL은 문제 유형에 따라 최적의 계산 경로를 선택하여 높은 성능과 제어 가능성을 입증했습니다.

핵심 포인트

• LoL은 추론 시 레이어 순서를 동적으로 지정하는 아키텍처입니다.
• 밀집형, 깊이 순환형, MoE의 장점을 통합한 일반화된 구조를 제시합니다.
• 합성 데이터에서 문제별 최적 솔루션 전략을 구현할 수 있습니다.
• 안전 데이터 분류에 활용되어 높은 AUROC 값으로 성능을 입증했습니다.