본 기사는 고해상도(High-Res) B200 컴퓨팅 클러스터 (Slurm Workload Manager)를 사용하여 LLM의 파인튜닝에 도전하는 총 5부 연재 중 제4편입니다.
- 제1회: 고해상도 컴퓨팅 클러스터 접속하기
- 제2회: Slurm Workload Manager 다뤄보기
- 제3회: 파인튜닝 이해도를 높여 데이터셋 만들기
- 제4회: 시작합시다! 파인튜닝 (본 기사)
- 제5회: 만든 모델 평가해보기
지난 내용 복습 및 이번 목표
지난 시간에는 파인튜닝 전처리라고 할 수 있지만, 중요한 부분인 데이터셋 생성에 대해 설명했으며, 파인튜닝의 기본적인 개념 등에 대해서도 설명을 드렸습니다.
이제 마침내 본론인 파인튜닝을 진행합니다.
여기서는 파인튜닝을 실행하기 위한 소스를 부록에 예시로 제시하고 있습니다. 하나의 실행 예시를 참고해 주시고, 그 과정에서 어떤 점들을 고려했는지에 대한 설명을 덧붙였습니다. 저 자신도 싱글 노드/싱글 GPU 구성으로 여러 번 SFT나 GRPO를 진행한 경험이 있지만, 생각보다 많은 고려 사항들이 발견되었기 때문에 꼭 참고해 주시면 좋겠습니다.
전체 구성을 생각하기
무엇을 만들어야 하는가?
배치 작업 스케줄러(batch job scheduler)를 사용하여 학습 처리가 가능하도록 하려면 다음의 것들을 준비해야 합니다.
bash 스크립트를 작성합니다. 하지만 '제2회 Slurm Workload Manager 다뤄보기'에서 말씀드렸듯이, 시작 부분에는 약간 특수한 기술이 필요합니다. -
Python 스크립트를 작성합니다. 이쪽은 비교적 많이 만들어 본 분들이 많지 않을까 생각합니다. 다만, 지금까지 작성했던 스크립트가 그대로 작동한다고 할 수는 없기 때문에, 그 안에서 필요한 작법에 대해 말씀드리고자 합니다.
작성 순서로는, 배치 스크립트의 작성을 통해 분산 처리를 고려하는 데 중요한 포인트를 잡고 뼈대가 만들어진 부분부터, 더욱 상세한 부분인 학습 스크립트를 구성해 나가는 것이 전체적인 그림을 파악하기에 더 쉬울 것 같습니다.
배치 스크립트 제작
Slurm 매개변수 구성
배치 스크립트 자체는 bash를 사용하여 작성하지만, 시작 부분에서 Slurm 매개변수를 설정하는 부분이 필요합니다.
#!/usr/bin/env bash
#SBATCH --job-name=qwen35_dpo
#SBATCH --nodes=1
...
일반적인 스크립트에서는 맨 앞에 #이 붙으면 주석으로 처리되지만, sbatch 명령어 상에서는 #SBATCH라는 줄을 찾아내고 거기에 쓰여진 옵션 스위치를 가져와서 스크립트가 실행되는 장치(仕掛け)로 되어 있습니다.
기재할 내용은 다음과 같습니다. 이번에는 파티션을 기본값으로 사용하기 때문에, 그 기재는 생략했습니다.
| 매개변수 | 개요 |
|---|
| --job-name | 작업 이름을 지정합니다 |
| ... | |
| 표 1: 배치 스크립트에 정의할 Slurm 옵션 스위치 목록 | |
또한, CPU가 필요한 수에 대해서는 GPU 1개 요청당 최대 28의 쓰레드를 지정하는 것이 고해상도 컴퓨팅 클러스터에서는 가능합니다. OS 제어분이 필요할 가능성을 고려하여, 2쓰레드는 OS용으로 남겨두고 이 작업에서는 26 × 필요한 GPU 수를 cpu-per-task에 지정했습니다.
이번에는 노드 수 1, GPU 수 4로 작성했습니다.
쉘 모드 변경
다음으로 이것을 추가합니다.
이 기재는 Bash의 여러 옵션을 조합한 것으로, 오류 발생 시 중지(stop), 미정의 변수 사용 방지, 파이프라인 실패 감지 등을 통해 스크립트의 안전성을 대폭 향상시킵니다. 내역은 다음과 같습니다.
- -e (errexit):
스크립트 내에서 실행한 명령어 중 어느 하나라도 0이 아닌 종료 상태를 반환할 경우, 즉시 스크립트 실행을 종료시킵니다. 이를 통해 오류가 발생한 후에도 스크립트가 계속 진행되는 것을 막고, 실행 초기 단계에서의 오류 감지 및 수정이 용이합니다 -
- -u (nounset):
스크립트가 미정의 변수를 사용하려고 할 경우 오류를 발생시킵니다. 이를 통해 오타나 변수의 미정의 상태를 조기에 발견할 수 있어 예상치 못한 동작을 방지할 수 있습니다 -
- -o pipefail:
파이프라인 내의 임의 명령어가 실패할 경우, 파이프라인 전체 실행을 실패로 판정합니다. 기본적으로 Bash는 파이프라인 내 마지막 명령어의 종료 상태만 반환하기 때문에, 초기 단계에서 발생한 오류가 가려질 가능성이 있습니다. 이러한 상황에 대처하기 위한 옵션 스위치라고 생각하시면 됩니다.
처리 본체 작성 및 유의사항
이후부터는 처리 본체를 작성하게 되지만, 먼저 이 안에서 고려해야 할 사항들을 언급하겠습니다.
- 셸의 사양으로 "o pipefail"을 기술했기 때문에, 처리는 반드시 위에서 아래로, 왼쪽에서 오른쪽으로 처리됩니다. 따라서 처리 내용 또한 순차적으로(sequential) 작성할 필요가 있습니다. - Slurm만으로는 분산 처리를 할 수 없으므로, 그 처리 레이어에 따라 다양한 컴포넌트가 필요하게 됩니다. 이번 파인튜닝에서는 다음 컴포넌트들이 분산 처리에 관련됩니다.
| 컴포넌트명 | 역할 | 개요 |
|---|
| Slurm | 작업 스케줄러 (Job Scheduler) | 배치 작업을 대상으로 하는 작업 스케줄러. 리소스 가용 상황을 고려하여 노드에 대한 처리 지시를 담당합니다. |
| ... | | |
| 표 2: 전체 분산 처리에 관련된 컴포넌트 | | |
- GPU는 RANK라는 값을 사용하여 노드 로컬 위치 지정이나 사용 리소스 전체 내의 위치 지정과 같은 것을 관리합니다. 이미지는 다음과 같습니다.
GPUに対するRANKについて
그림 1: GPU에 대한 RANK
- 계산 노드에서는 다음 두 종류의 스토리지를 참조할 수 있도록 구성되어 있습니다.
計算ノードから見えるストレージ
그림 2: 계산 노드에서 보이는 스토리지
공유 스토리지는 저희 사용자가 로그인하는 로그인 노드가 참조하는 공유 스토리지와 동일하며, 같은 경로로 마운트되어 있습니다. 따라서 저희가 이 공유 스토리지 위에서 준비한 스크립트나 데이터셋은 같은 경로 지정으로 참조 및 실행이 가능합니다.
하지만 이 스토리지는 분산형 오브젝트 스토리지(distributed object storage)이며, 큰 I/O 처리를 수반하는 접근에는 취약하고, 게다가 여러 사용자가 동시에 이 영역을 참조하기 때문에 큰 I/O를 흐르는 것은 극도로 피해야 합니다. (여기에 큰 I/O가 발생하면 다른 이용자의 파일 접근이 정체될 위험이 생깁니다.) 따라서 이번 파인튜닝에서는 큰 I/O가 발생하는 데이터는 한 번 노드별 로컬 스토리지(local storage)로 데이터를 옮기고, 거기서 필요한 데이터의 Read 처리를 하도록 스테이징 처리(staging process)를 구현합니다.
또한, 완성되어 가는 모델 데이터도 처리 중에는 로컬 스토리지에 배치하고, 모든 처리가 완료된 단계에서 필요한 분량의 데이터를 공유 스토리지로 옮기는 디스테이징 처리(destaging process)도 구현합니다.
분산 처리의 전체 모습
이러한 고려 사항을 바탕으로 예상되는 연계 관계 및 실행 흐름을 그림으로 나타내면 다음과 같습니다. 배치 작업 스케줄러인 Slurm뿐만 아니라, 그 배치 처리 안에서 동작하는 torchrun(PyTorch에 포함된 병렬 처리 실행 도구), Unsloth 내의 DDP 대응 모듈이 연계되는 구조입니다.
分散処理の全体フロー
그림 3: 분산 처리의 전체 흐름
-
① 먼저, Slurm 배치 스크립트를 sbatch 명령어로 시작하여 Slurm에 큐잉(queuing)시킵니다. 배치 스크립트에는 SLURM_NODEID를 기반으로 torchrun이 적용하는 몇 가지 파라미터에 대해 설정을 수행하도록 환경 변수를 설정합니다.
-
② 필요한 리소스가 갖춰지면 Slurm에 의해 배치 스크립트의 실행을 시작합니다.
-
③ 스테이징 처리를 시작합니다.
-
(아) 공유 스토리지 상의 학습 처리에 필요한 데이터를 로컬 노드의 지정된 영역으로 복사합니다. 이 처리를 스테이징 처리라고 부릅니다. 그 외 각종 캐시 디렉토리나 완성된 모델의 데이터 파일을 배치할 디렉토리를 생성합니다.
初期段階でローカルストレージに構成されるディレクトリとステージング対象
그림 4: 초기 단계에서 로컬 스토리지에 구성되는 디렉토리와 스테이징 대상
-
-
④ 처리 노드에 대해 torchrun을 사용하여 학습 스크립트를 각 노드마다 하나씩 실행합니다.
-
(아) torchrun은 실행 노드의 SLURM_NODEID를 사용하여 전체 작업에서 일관된 GPU를 식별하기 위해 각 GPU에 global_rank를 할당합니다. 이 과정에서 global_rank=0인 GPU를 특정함으로써, 나머지 torchrun이 필요한 연동 매개변수(coordination parameters)들을 결정하게 됩니다.
-
(이) 스크립트에 정의된 매개변수 내용에 따라 Unsloth 내의 DDP(Distributed Data Parallel) 처리(실체는 Pytorch DDP)가 시작됩니다. torchrun 내부에서 GPU 간 조율을 수행하는 시스템인 랜데부(rendezvous, 만남이라는 뜻)를 통해 구성되는 모든 GPU의 디스커버리 그룹 편성 과정을 거쳐 전체 GPU를 총괄한 상태를 구축한 후에 병렬 처리 연산이 시작됩니다. (자세한 내용은 추후 설명합니다.)
-
(우) 학습 처리가 완료되면 LoRA 어댑터 모델을 생성합니다. 획득 대상은 마스터 노드가 되는 계산 노드 내의 LoRA 어댑터 모델뿐입니다.
⑤ 다음 처리들을 마스터 노드에서만 실행시킵니다.
⑥ 각 노드에 대해 로컬 스토리지상의 정리(Clean-up) 처리를 수행합니다. ※실제로는 이 처리가 실패하더라도 작업 종료 시 해당 영역은 자동으로 삭제됩니다.
메인 배치와 서브 배치
여기서 ①, ②, ③으로 제시된 것이 메인 플로우이며, (아), (이), (우)로 제시된 것이 소위 서브 배치(Subbatch) 처리입니다. 처리에 일관성을 유지하도록 다음과 같은 구성을 취함으로써 배치 처리에 부모-자식 관계를 부여합니다.
다음은 스테이징(Staging) 처리의 기술을 인용한 것입니다.
stage_in_all_nodes() {
echo "[INFO] Starting stage-in on every node..."
srun \
...
그림 5: 서브 배치 부분과 스크립트 부분 (스테이징 처리)
Slurm 배치 스크립트는 그 안에 srun 명령어를 사용한 서브 배치 스크립트를 기술할 수 있습니다. 배치 스크립트 자체는 srun 명령어와 bash 명령어의 병용을 통해 구현되고 있음을 알 수 있습니다.
그중에서, --nodes 옵션 및 –ntasks에 ${SLURM_NNODES}를 지정함으로써 여기에 작성된 서브 배치 스크립트가 각 노드에 분산되어 실행되는 것이 제시되어 있습니다. 각 노드로 도착한 스크립트는 별도의 셸로 취급되므로, 그곳에서도 「set -euo pipefail」의 기술이 필요하지만, 이를 통해 엄격하게 순차적인 처리가 이루어지며, 이 모든 처리가 완료된 후에야 다음 처리로 넘어갈 수 있게 됩니다.
반대로, 다음은 디스테이징(De-staging) 처리의 기술을 인용한 것입니다.
--nodes는 1로 고정되어 있으며, --nodelist 옵션에 ${MASTER_ADDR}가 설정되어 있어 마스터 노드만이 결과 출력 처리를 실행하도록 구성되어 있음을 알 수 있습니다.
stage_out_from_master_node() {
local artifact_state="$1"
export ARTIFACT_STATE="${artifact_state}"
...
그림 6: 서브 배치 부분과 스크립트 부분 (디스테이징 처리)
이러한 서브 배치를 다음 4가지 종류로 구축할 필요가 있습니다.
| 처리 위치 | 실행 노드 | 처리 개요 |
|---|
| ③ 스테이징 처리 | 모든 노드 | 공유 스토리지 ⇒ 로컬 스토리지로의 복사 처리 |
| ... | | |
| 표 3: 서브 배치 구성을 필요로 하는 위치 | | |
필요한 모듈 호출
통상적으로 torchrun을 호출하기 전에, 필요한 모듈이 설치되어 활성화되었는지 확인하는 것이 필요합니다. Python 환경에 관해서는 사전에 프로젝트 디렉터리의 가상 환경 설정을 활성화해 두면 문제가 없지만, 예를 들어 통상적으로 apt 등을 필요로 하는 패키지는 반드시 추가해야 합니다.
하이레조 계산 클러스터상의 계산 노드에서는 이를 간편하게 수행하기 위해 module 명령어를 사용하여 필요한 모듈을 적용합니다. 배치 스크립트 상에서는 다음 활성화 처리를 torchrun을 실행하기 전에 진행하고 있습니다.
module load
cuda/12.9.1
cudnn/9.10.2_cuda12
...
이 활성화 처리를 통해 즉시 모듈이 활성화되어 처리에 필요한 것을 사용할 수 있게 됩니다. 세부 내역은 다음과 같습니다.
| 모듈명・버전 | 역할 | 개요 |
|---|
| cuda/12.9.1 | NVIDIA GPU에서 병렬 계산을 수행하기 위한 가장 기본적인 플랫폼 | NVIDIA GPU의 제어 및 병렬 처리를 담당하며, Unsloth가 사용하는 Triton 커널 컴파일에도 사용됩니다. |
| ... | | |
표 4: 이번에 사용할 모듈 목록
참고로, CUDA 버전 12를 사용하는 이유는 검증 시점에서 제공되는 Unsloth의 Python 라이브러리 패키지가 CUDA12 버전의 Pytorch와 연관되어 있기 때문이며, 가상 환경을 구축할 때 이 정도의 버전 의존 관계는 염두에 두는 것이 좋다고 생각됩니다.
필요한 환경 변수 파악
Slurm Workload Manager 자체는 '다중 노드, GPU, CPU, 메모리, 실행 시간 확보'가 주 목적이며, 그 이상의 것은 해주지 않습니다. torchrun이 필요한 파라미터를 자동으로 설정해 주는 것도 아닙니다. 따라서 Slurm에서 torchrun으로 필요한 정보를 전달하기 위해 다음과 같은 환경 변수를 준비해야 합니다.
| 환경 변수명 | 변수 개요 | 획득 방법 |
|---|
| SLURM_JOB_ID | 작업 ID | Slurm 자동 적용 |
| ... | readarray -t ALLOCATED_NODES < <(scontrol show hostnames "${SLURM_JOB_NODELIST}")로 획득 | |
| MASTER_ADDR | 마스터 노드 | |
"${ALLOCATED_NODES[0]:-}"로 획득 | | |
| MASTER_PORT | 마스터 노드의 포트 번호 | |
"${MASTER_PORT:-$((20000 + SLURM_JOB_ID % 20000))}"로 획득 (20000+하위 4자리는 JOBID에서 가져옴) | | |
| CPU_PER_NODE | 노드당 CPU 사용 수 | 수동 설정으로 합니다. #SBATCH --cpus-per-task와 같은 값을 사용합니다. |
| GPUS_PER_NODE | 노드당 GPU 사용 수 | 수동 설정으로 합니다. #SBATCH --gpus-per-node와 같은 값을 사용합니다. |
| OMP_NUM_THREADS | torchrun 하위의 각 GPU 프로세스에 할당할 OpenMP 스레드 수 | |
$((CPUS_PER_NODE / GPUS_PER_NODE))로 획득 | | |
| TOKENIZERS_PARALLELISM | 초기 토큰화 처리를 병렬화하는 플래그 | 수동 설정으로 합니다. 데드락이 발생할 위험이 있으므로 false를 설정합니다. |
| TORCH_NCCL_ASYNC_ERROR_HANDLING | NCCL 오류 발생 시 프로세스 강제 종료 플래그 | 수동 설정으로 1로 설정합니다. 일반적으로 분산 학습 중에 오류(데드락이나 네트워크 타임아웃 등)가 발생했을 경우, 비정상적인 상태로 멈추는 것을 방지하기 위해 프로세스를 강제 종료(또는 중단)하는 것이 권장됩니다. |
| DPO_DATASET_SRC_DIR | DPO 데이터셋 배치 디렉토리 | 수동 설정으로 합니다. |
| ... | | |
표 5: 필요한 환경 변수 목록
학습 스크립트 작성
다음으로 학습 스크립트를 구성해 보겠습니다.
이번에는 Qwen3.5-9B가 이미 가지고 있는 추론 능력을 계승할 수 있도록, 16bit LoRA를 사용하여 진행하고자 합니다. LoRA는 기존 능력을 유지하면서 행동을 변경시키기 위해 사용되는 방법으로, 어느 정도 리소스 소비를 줄이는 데 중점을 둔 방식이지만, 이번 경우에는 '어떻게 기존의 추론 능력을 계승시킬 것인가'에 주안점을 두고 이것을 선택했습니다.
LoRA에 대하여
LoRA는 Low-Rank Adaptation의 약자입니다. 이 모델의 Linear 레이어 일부에 아래 그림과 같은 차분(difference)을 쌓아 올리는 구조를 구현하여, 기존 모델의 성능을 손상시키지 않으면서 행동을 변경하도록 학습하는 방법입니다.
이번 파인튜닝에서는 모델의 일본어 능력을 향상시키기 위해, 일본어를 사용한 행동(behavior)을 더 많이 학습하도록 하고, 본래의 추론 능력은 잃지 않도록 하기 위해 이 학습 방식을 채택합니다.
LoRAの概要図
그림 7: LoRA 개요도
RANK 값에 대하여
LoRA를 이용한 파인튜닝을 진행하면서 가장 중요한 매개변수(parameter)가 바로 RANK 값입니다 (본문에서는 GPU의 RANK와 혼동하지 않도록 LoRA RANK 값이라고 칭합니다). 이는 학습의 세밀도 또는 레벨의 정교함을 나타냅니다. LoRA가 처음 등장했을 때는 LoRA RANK 값을 낮게 설정하는 것이 트렌드였던 시기도 있었지만, 사실 매우 많은 샘플이 확보된 환경이라면 r=64와 같은 값부터 세부적인 표현과 행동을 포착하여 업데이트시키는 것도 가능합니다.
SFT(Supervised Fine-Tuning)의 경우, 세밀한 행동 모방이 필요하며 그 과정에서 최대한 정교한 반영이 필요하다고 판단되므로, 비교적 높은 값인 LoRA RANK 값 64를 적용합니다. 반면 DPO는 SFT에 비해 상대적으로 추상적인 움직임을 학습하는 것이기 때문에, LoRA RANK 값은 SFT보다 낮은 32로 설정합니다.
또한, LoRA RANK 값과 쌍을 이루는 값이 $\alpha$(본문에서는 alpha 값이라고 칭합니다)이며, 이 값 자체는 차분(difference)을 취한 행렬에 대해 스케일링을 수행하는 값입니다. 일반적으로 LoRA RANK 값의 2배 값을 지정하는 경우가 많으며, 이번에는 그 값을 채택합니다.
| 항목 | SFT | DPO |
|---|
| LoRA RANK 값 | 64 | 32 |
| alpha 값 | 128 | 64 |
표 6: LoRA RANK 값과 Alpha 값 초기값
이렇게 정의된 저랭크 행렬의 차분 회수기(difference collector)를 다음과 같이 배치합니다.
LoRA回路の配置場所
그림 8: LoRA 회로의 배치 위치 (빨간색 부분이 대상)
이들은 어댑터 모델을 제어하는 라이브러리인 Peft 라이브러리의 매개변수로, 대상을 지정합니다. 대상이 되는 레이어는 모든 레이어가 됩니다.
- q_proj: Attention 블록의 Query
- k_proj: Attention 블록의 Key
- v_proj: Attention 블록의 Value
- o_proj: Attention 블록의 Output
- gate_proj: Attention 블록의 Output-Gate
- up_proj: MLP 블록의 Up-Projection
- down_proj: MLP 블록의 Down-Projection
참고로 말씀드리자면, 이 레이어들의 업데이트에 따라 변경되는 매개변수의 수는 업데이트 위치와 LoRA의 RANK 값에 의해 변화합니다. 예를 들어 r=16인 경우와 비교했을 때, r=32는 2배, r=64는 4배의 매개변수가 업데이트 대상이 되는 것을 알 수 있습니다.
r=16의 경우
Trainable parameters = 29,097,984 of 9,438,911,728 (0.31% trained)
r=32의 경우
Trainable parameters = 58,195,968 of 9,468,009,712 (0.61% trained)
r=64의 경우
Trainable parameters = 116,391,936 of 9,526,205,680 (1.22% trained)
분산 처리(Distributed Processing)에 대한 고려 사항
이번에는 Slurm으로부터 각각 할당된 태스크를 받은 컴퓨팅 노드는 계산 처리 스크립트를 각 노드에서 읽어 실행합니다. 이때, torchrun이라는 애플리케이션을 사용하여 처리 프로세스를 분산시킵니다.
분산된 프로세스는 GPU와 1대1로 연결되어, 이를 통해 분산 및 병렬 처리가 실현됩니다.
torchrunのプロセス分散とGPUへの対応付け
그림 9: torchrun의 프로세스 분산과 GPU 대응
rendezvous를 통한 계산 결과 집약(Aggregation)
rendezvous는 torchrun에서의 조정 시스템(coordination system)이라는 점은 앞서 설명드렸지만, 그 상세 내용에 대해 여기서 설명하고자 합니다.
이는 torchrun 내부의 기능으로 작동합니다. 앞서 언급했듯이, torchrun으로 실행하는 스크립트는 특정 계산 노드의 GPU에 대한 처리를 작성하고 있지만, 이 rendezvous를 사용함으로써 계산 노드 내부뿐만 아니라 작업을 실행하는 모든 노드의 GPU까지 시야를 넓혀 계산 결과를 집약 및 통합할 수 있게 합니다.
이와 함께, 부모 배치 스크립트에서는 다음과 같은 환경 변수가 준비됩니다.
| 환경변수명 | 변수 개요 | 획득 방법 |
|---|
| SLURM_NNODES | 실행 노드 수 | Slurm 자동 적용 |
| ... | readarray -t ALLOCATED_NODES < <(scontrol show hostnames "${SLURM_JOB_NODELIST}") 로 획득 | |
| MASTER_ADDR | 마스터 노드 | "${ALLOCATED_NODES[0]:-}" 로 획득 |
| MASTER_PORT | 마스터 노드의 포트 번호 | "${MASTER_PORT:-$((20000 + SLURM_JOB_ID % 20000))}" 로 획득 (20000+하위 4자리는 JOBID에서 참조) |
표7: torchrun이 활용하는 환경 변수
이 변수들은 서브 배치 처리 내에서, torchrun 실행 시 인수로 할당됩니다.
exec torchrun \
--nnodes="${SLURM_NNODES}" \
--nproc-per-node="${GPUS_PER_NODE}" \
...
이 설정에 따라, 각 노드에서 실행되는 torchrun은 마스터 노드의 확인, 마스터 노드로의 연결, 관련 노드 GPU에 대한 디스커버리를 거쳐 GPU 전체 수, 즉 '월드 사이즈(world size)'를 파악하는 동시에, GPU에 대한 '글로벌 랭크(global rank)'를 부여합니다. 그 결과는 각 노드의 환경 변수로 등록됩니다.
torchrunとrendezvousによるGPU全体の把握
그림10: torchrun과 rendezvous를 통한 GPU 전체 파악
상기 그림에서는 명시되어 있지 않지만, ④ 시점에서 WORLD_SIZE 역시 2(n+1)이라는 것이 확정되며, 이는 환경 변수 WORLD_SIZE로 등록됩니다.
이러한 처리 결과에 따라 등록되는 환경 변수는 다음과 같습니다.
| 환경변수명 | 의미 | 개요 |
|---|
| RANK | 글로벌 랭크 | 관련 노드 전체에서의 GPU 통신 번호. |
| ... | | |
| 표8: rendezvous를 통해 할당되는 환경 변수 목록 | | |
상기 환경 변수가 할당되면서 처리가 진행되는데, 파인튜닝 처리 중 각 노드는 1단계의 처리가 끝나고 각 레이어의 그래디언트 계산이 완료된 타이밍에 Unsloth 내 DDP(Distributed Data Parallel) 프로세스는 all_reduce라는 명령을 발행합니다. (계산이 완료되어 '네, 끝났습니다!'라고 손을 드는 행위에 비유할 수 있습니다).
모든 노드가 all_reduce를 발행하는 타이밍에, rendezvous 기능에 의해 총 취합 역할을 하는 마스터 노드가 결과를 집계하고 합계를 낸 후 평균화해 버립니다.
그리고 그 계산 결과는 각 노드의 각 GPU에서의 계산 결과와 대체됩니다. 이러한 계산 결과의 집계 및 이후 계산 결과 분배는 rendezvous가 관리하는 NCCL을 통해 저지연・초고속으로 주고받아집니다.
all_reduce命令により行われる計算値の統合処理
그림11: all_reduce 명령에 의해 수행되는 계산 값 통합 처리
그렇게 하여 Trainer는 눈치채지 못하고 후속 처리를 계속하게 되지만, 사실 모든 파인튜닝이 종료된 시점에서 모든 노드는 완전히 동일한 계산 결과를 사용하여 LoRA 어댑터를 구성하게 됩니다.
따라서 나중에 모든 노드의 계산 결과를 모아서 병합(merge)할 필요가 없습니다. 최종적인 결과는 Global_RANK (환경 변수로는 RANK)를 가진 마스터 노드의 결과만 가져오면 되는 것입니다.
이처럼 분산 처리된 결과는 항상 일관성을 유지하며 순차적으로 통합되어 전체가 보존됩니다.
프로세스 단위로 분리해야 할 디렉토리
통상적으로 이러한 디렉토리는 단일해도 무방할 것이나, GPU 분산을 시킬 경우에는 디렉토리 충돌(directory conflict) 및 데드락(deadlock)의 위험이 있습니다. 이에 대처하기 위해 사전에 LOCAL_RANK 단위로 다음 디렉토리들을 분리하여 구성해야 합니다.
- UNSLOTH_COMPILE_LOCATION
- TORCHINDUCTOR_CACHE_DIR
- TRITON_CACHE_DIR
- TMPDIR / TMP / TEMP
모델 로드와 DPOConfig (프로세스 그룹 초기화) 순서 제어