MeshXFS: AI Adapts XFS Into A Clustered File-System

LINUX STORAGE

MeshXFS 프로젝트를 시작하고 Phoronix에 이 이니셔티브를 소개한 Steve Shoecraft가 다음과 같이 언급했습니다:

"MeshXFS는 하나의 질문에 답하기 위한 실험으로 시작되었습니다. AI가 단순한 파일 시스템이 아니라, 분산 잠금(distributed locking), 다중 노드에서의 동시 접근(concurrent access from many nodes), 펜싱(fencing) 및 충돌 복구(crash recovery) 기능을 갖춘 클러스터 파일 시스템 커널 드라이버를 작성할 수 있는가? 이것은 현재 작동하며, 출시된 오픈 소스 (GPL-2.0) POSIX 클러스터 파일 시스템이며, 지금까지의 답은 '예'입니다."

XFS는 분산 잠금, 다중 노드 동시 접근 기능, 펜싱 및 충돌 복구와 같은 기능을 갖춘 POSIX 클러스터 파일 시스템으로 변환되었습니다. Steve는 MeshXFS 제작에 대해 다음과 같이 추가 설명했습니다:

"이는 XFS 개발자들이 작성한 업스트림(upstream) XFS 코드를 기반으로 합니다. 여러 머신이 동시에 읽기-쓰기로 마운트할 수 있도록 XFS를 파일 시스템으로 만든 모든 것은 AI가 작성했습니다:

• 네트워크를 통한 두 개의 분산 잠금 관리자: 하나는 네트워크를 통해 작동하고, 다른 하나는 SCSI COMPARE AND WRITE를 사용하여 공유 디스크 자체에 잠금 상태를 유지하며 잠금 네트워크 연결이 전혀 필요 없습니다.

• 노드 간 캐시 일관성(cache coherency across nodes), SCSI 영구 예약(persistent reservations)을 사용한 펜싱, 그리고 생존자 주도 저널 복구(survivor-led journal recovery).

• XFS 주변의 디스크 상 엔벨로프(envelope), 그리고 사용자 공간 도구들 (mkfs, fsck, resize).

• 포크 이후 변경된 모든 forked XFS 코드: (xfs/ 디렉토리는 약 226k 라인에서 약 314k 라인으로 증가했습니다)

• 테스트 하네스(test harnesses), 테스트 리그 자동화(test rig automation), 그리고 출시 검증(release validation).

Claude Code 내의 자율 코딩 에이전트(autonomous coding agent)로 실행된 Claude Opus가 작업의 상당 부분을 담당했으며, 가장 어려운 문제들인 잠금 프로토콜 설계(lock protocol design), 복구 경쟁 조건(recovery races), 펜싱 정확성(fencing correctness)에 대해 Claude Fable, GPT, Gemini 및 Astra와 자문했습니다. AI는 또한 테스트를 작성하고 실행하며, 실패를 진단하고 수정했습니다. 저의 역할은 목표와 기준을 설정하는 것이었습니다: 데이터 무결성을 최우선으로 하고, 호스트가 절대 충돌하지 않도록 하며, 동일한 스토리지에서 네이티브 XFS가 소요하는 시간의 두 배 이내로 유지하는 것입니다. 저는 코드를 작성하거나 편집하거나 검토하지 않았습니다."

AI가 수정하는 파일 시스템에 데이터를 맡기는 것을 우려하는 분들을 위해, 각 MeshXFS 릴리스는 다양한 실제 시나리오를 거쳐 실제 다중 노드 클러스터에서 약 30개의 테스트 스위트(suite)를 거치도록 합니다.

MeshXFS에 대해 궁금하거나 더 알고 싶은 분들은 프로젝트의 GitHub를 통해 확인하실 수 있습니다.