Linux 7.2의 EROFS, 대규모 희소(Sparse) AI 데이터셋 처리 개선 및 I/O 효율성 향상

LINUX STORAGE

먼저, EROFS는 이제 청크 기반 inode(chunk-based inodes)에 대한 요청 매핑을 최적화했습니다. 새로운 EROFS 청크 매핑 코드는 더 효율적인 I/O 성능을 위해 최적화되었습니다. erofs_map_chunks() 패치와 함께 명시된 성능 수치는 없으나, I/O 성능이 수치화되지는 않았지만 단순히 더 효율적이라고 보고되었습니다.

EROFS의 또 다른 큰 변화는 pcluster 레이아웃 코드에 희소(sparse) 지원이 추가된 것입니다. 이 변화의 동기는 대규모의 희소(sparse) AI 데이터셋을 돕는 데 있습니다. Alibaba 엔지니어이자 EROFS 유지 관리자인 Gao Xiang은 패치에서 pcluster 레이아웃의 희소 지원에 대해 다음과 같이 설명했습니다:

"EROFS에서는 고정 크기 출력 압축을 사용하여 0(zeros)을 투명하게 압축할 수 있으므로 Android 사용 사례에서는 우선순위가 낮지만, 전체 pcluster를 홀(hole)로 표시하는 것은 희소 데이터셋의 홀을 보존하는 데 여전히 유용합니다. 그렇지 않으면 overlayfs가 복사(copy-up)할 때 더 많은 공간을 할당하게 되고, SEEK_HOLE이 어떤 홀도 보고하지 않게 됩니다.

이 패치는 pcluster를 홀로 표시하는 두 가지 방법을 도입합니다."

한편, EROFS는 이전에 FSCACHE 백엔드를 deprecated(사용 중단 예정)로 표시했으며, Linux 7.2와 함께 제거되었습니다. FSCACHE를 사용하는 EROFS는 원래 이미지 레이지 풀링(image lazy pulling) 기능을 제공하기 위해 의도되었습니다. 그러나 FSCACHE가 나중에 NETFS를 필수 의존성(hard dependency)으로 만들면서 EROFS가 해당 기능을 deprecated로 지정하게 되었고, 현재는 제거되었습니다. 이와 유사한 기능은 이후 파일 기반 마운트(file-backed mounts)와 fanotify pre-content hooks를 통해 구현되었습니다.

이 pull request를 통해 Linux 7.2에 병합된 이러한 EROFS 파일 시스템 업데이트에 대한 더 자세한 내용을 확인할 수 있습니다.