Ulysses Sequence Parallelism: 장문 컨텍스트 학습의 혁신적 해법

요약

Ulysses Sequence Parallelism (SP)은 트랜스포머 모델의 핵심인 어텐션(Attention) 계산을 여러 GPU에 분산시켜 수백만 토큰 길이의 컨텍스트 학습을 가능하게 하는 기술입니다. 기존 방식이 메모리 한계로 인해 긴 시퀀스를 처리하기 어려웠으나, Ulysses는 시퀀스 차원과 어텐션 헤드(Attention Head)를 동시에 파티셔닝하여 효율적인 병렬 처리를 구현합니다. Hugging Face Accelerate와 TRL의 SFTTrainer 등 주요 라이브러리에 통합되어 실제 장문 컨텍스트 학습 워크플로

핵심 포인트

• Ulysses SP는 어텐션 계산을 시퀀스 차원(Sequence Dimension)과 어텐션 헤드(Attention Head)를 분할하여 여러 GPU에 분산 처리합니다.
• 이 기술은 FlashAttention 등 최적화된 구현체와 결합되어, 기존 단일 GPU 메모리 한계를 넘어 32k 토큰 이상의 장문 컨텍스트 학습을 가능하게 합니다.
• Ulysses는 두 번의 All-to-All 통신 연산을 통해 데이터를 재분배하며, 이는 Ring Attention보다 낮은 지연 시간과 높은 효율성을 제공합니다.
• Hugging Face Accelerate를 통해 `ParallelismConfig` 클래스를 설정하고 `accelerator.prepare()` 함수 호출만으로 Ulysses SP 기능을 쉽게 통합할 수 있습니다.