Zyphra Research가 LLM 규모 데이터셋을 위한 새로운 증분형 퍼지 중복 제거 시스템 PUFFER를 공개하다

Zyphra Research에서 대규모 언어 모델(LLM) 규모 데이터셋을 위한 새로운 증분형 퍼지 중복 제거 시스템인 PUFFER를 출시했습니다.

PUFFER는 CPU 전용으로 작동하며 기존 방법 대비 11~35배의 속도 향상을 달성합니다.

저희는 내부적으로 자체 학습 데이터셋에 PUFFER를 사용하고 있으며, 이를 Apache 2.0 라이선스로 공개합니다.

중복 제거(Deduplication)는 LLM 데이터셋 구축의 핵심 구성 요소입니다. 근접 중복(Near-duplicates)은 일반화(generalization)보다는 암기(memorization)에 유리하며 컴퓨팅 자원을 낭비하게 만듭니다.

기존의 중복 제거 방법들은 코퍼스에 새로운 데이터셋을 증분적으로 추가하거나 제거하는 데 적합하지 않아, 종종 전체 재구축(rebuild)이 필요합니다.

PUFFER는 MinHash-LSH 밴드 키를 불변적이며, 데이터셋 태그가 지정되고 정렬된 배열 형태로 저장하고 디스크에서 메모리 매핑(memory-mapped)함으로써 증분 중복 제거를 가능하게 합니다. 따라서 데이터셋 멤버십은 이진 탐색(binary search)을 통해 결정될 수 있습니다.

PUFFER는 인덱스 계층 벤치마크에서 Milvus MinHash-LSH 및 LSHBloom 대비 11–35배의 속도 향상을 달성하며, 누적 유지보수 비용은 증명 가능한 준선형(quasilinear)입니다.

PUFFER를 사용하여 단일 CPU 프로세서로 40개 버전의 10억 개 문서를 약 1.75시간 만에 처리했습니다.

PUFFER는 디스크에서 메모리 매핑된 밴드 키를 읽기 때문에, 거대한 데이터셋을 처리할 때도 미미한 O(1) RAM 사용량을 유지할 수 있습니다. 이를 통해 PUFFER가 경쟁 방법들이 충돌하는 훨씬 더 큰 규모의 데이터셋을 처리할 수 있음을 보여줍니다.

PUFFER를 사용하면 커밋이 원자적(atomic)이며 데이터셋 태그에 키가 지정됩니다: 커밋 도중 중단된 작업은 비트 단위로 동일한 결과로 재실행됩니다.

데이터셋 제거 또한 일급 시민 기능입니다. 압축되지 않은 데이터셋을 삭제하는 것은 밀리초 단위의 메타데이터 편집으로 충분합니다.

블로그와 백서에서 전체 세부 정보를, 코드는 저희 GitHub에서 확인하세요:

Blog:
https://zyphra.com/our-work/puffer
Paper:
https://arxiv.org/abs/2608.28622
Code:
https://github.com/Zyphra/puffer

@ZyphraAI는 샌프란시스코, CA에 기반을 둔 개방형 초지능 연구 및 제품 회사로, 개인과 조직이 잠재력을 최대한 발휘하도록 돕는 인간 정렬(human-aligned) AI를 구축하는 것을 목표로 합니다.

참여하려면 지원하세요!