RetainZ: 영역 인식(Time-Aware) 배치 기법을 이용한 Zoned SSD의 AI 체크포인트 관리
요약
본 논문은 AI 체크포인팅 과정에서 발생하는 '쓰기 전에 지워야 한다'는 제약 조건 문제를 해결하기 위해 RetainZ라는 스토리지 백엔드를 제시합니다. RetainZ는 데이터의 보존 정책을 명시적인 회수 에포크로 변환하여, 장기간 보존되는 데이터를 격리하고 공간 확보를 최적화합니다. FEMU 환경 테스트 결과, 기존 방식 대비 공간 효율성과 지연 시간 감소 효과가 입증되었습니다.
핵심 포인트
- RetainZ는 데이터의 보존 정책을 회수 에포크로 변환하여 ZNS SSD의 비효율성을 개선했습니다.
- 기존 ZenFS 대비 삭제된 데이터 및 사용되지 않은 영역 꼬리 공간을 41.7% 절감했습니다.
- 목표 부하에서 평균 입력 체크포인트 p99 지연 시간을 47.5% 감소시켰습니다.
- 호스트 쓰기 증폭률(host write amplification)을 낮춰 SSD의 효율성을 높였습니다.
솔리드 스테이트 드라이브(SSD)는 성능이 중요한 저장 매체로 자리 잡고 있습니다. 순차적 쓰기 및 명시적인 영역 초기화가 주소 매핑, 오버 프로비저닝, 내부 가비지 컬렉션 비용을 줄여주기 때문에 Zoned Namespace (ZNS) SSD의 매력이 점점 커지고 있습니다. 하지만 공간을 확보하려면 전체 영역을 초기화해야 하므로, 하나의 파일을 삭제한다고 해서 그 공간이 자유로워지는 것이 아니라 그곳에 보관되어야 하는 다른 파일들도 남아있습니다. 이러한 '쓰기 전에 지워야 한다(erase-before-write)' 제약 조건은 쓰기 집약적인 워크로드의 병목 현상이 되며, 특히 모델 및 옵티마이저 상태를 자주 저장해야 하는 AI 체크포인팅 과정에서 장기간 보존되는 체크포인트와 공간을 두고 경쟁하는 상황에서 두드러집니다. 우리는 보존 정책(retention policies)이 데이터가 언제 폐기될 수 있는지를 본질적으로 인코딩하고 있어, 학습된 생명 주기 예측기(learned lifetime predictor)의 필요성을 없앤다는 것을 관찰했습니다. 이에 우리는 이러한 정책들을 명시적인 회수 에포크(reclaim epochs)로 변환하는 스토리지 백엔드인 RetainZ를 제시합니다. 이 할당자는 장기간 보존되는 데이터를 격리하고, 근접한 회수 에포크를 가진 객체들을 그룹화하여, 지연된 공간 확보와 영역 끝의 사용되지 않은 공간 사이의 균형을 맞춥니다. FEMU 환경에서 다중 테넌트 스트림 및 Pythia-1B까지의 체크포인트 매니페스트로 평가한 결과, RetainZ는 기존의 생명 주기 인식 ZNS 백엔드인 ZenFS의 할당자에 비해 삭제된 데이터와 사용되지 않은 영역 꼬리(zone tails)가 차지하는 공간을 41.7% 줄이고, 84% 목표 부하에서 평균 입력 체크포인트 p99 지연 시간을 47.5% 감소시키며, 호스트 쓰기 증폭률(host write amplification)을 1.165에서 1.003으로 낮추었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기