Ubiquiti, ZFS 기반 Enterprise NAS 공개

UBNT가 이 분야에 들어오는 건 반가움
예전부터 ZFS를 써 온 건 다른 선택지보다 훨씬 낫기 때문임. 저장장치 회사가 장애 허용성 없이 만들거나, 델타 백업을 효율적으로 하게 해 주는 머클 트리 없이 만든다면 엔지니어보다 마케팅 팀의 영향력이 더 크다는 신호로 봄
아쉽게도 기성품 ZFS 선택지는 대체로 성능이 약했음. QNAP은 ZFS 파일시스템을 지원하지만, 백업 설정에서 원본이 밀어 넣는 방식이 아니라 NAS가 원본에서 가져오게 구성할 수 없음. cron 작업을 직접 예약하면 가능하긴 하지만, 그러면 벤더 솔루션에 추가 비용을 내는 의미가 줄어듦
UBNT는 15년 된 edgerouter에도 아직 보안 업데이트를 제공하고, 인터페이스도 기본 네트워크 지식만 있으면 깔끔하게 쓸 수 있음. 영상 감시 솔루션도 촬영 영상을 완전히 현장 내부와 오프라인에 보관할 수 있게 해 줘서 드문 수준의 프라이버시를 제공함. 저장장치 제품에도 같은 완성도를 가져온다면 오래 쓸 것 같음

QNAP은 용납하기 어렵게도 자체 확장을 넣은 독자 ZFS를 쓰며, 메인라인 OpenZFS와 호환되지 않음
zfs send/receive도 다른 QNAP 장비로만 가능함. 데이터 보호 자체는 다른 ZFS 시스템처럼 되지만, 상호운용성은 없음. QNAP 시스템에서 zpool을 빼서 다른 ZFS 시스템에서 접근할 수 없다는 걸 고통스럽게 배웠고, 소프트웨어를 지우고 열린 것을 올릴 계획이 아니라면 다시는 사지 않을 생각임

카메라의 AI 처리도 마찬가지로 완전히 로컬이고 비공개임. UniFi Protect 시스템을 인터넷에서 완전히 분리해도 정상 동작함

QNAP의 ZFS 지원 모델에 ECC 메모리가 들어가나? 예시 모델이 있는지 궁금함

UBNT가 뭔지 궁금함

Ubiquiti의 가장 큰 장점은 월 구독료가 없다는 것임. 이런 제품에서도 그 흐름을 계속 이어가면 좋겠음
요즘 인수되는 것들은 장기 생존 가능성이 보이지 않는 월 반복 매출 모델로 바뀌는 경우가 너무 많음

창업자들이 예전 Apple 라우터 팀이었다는 점을 보면, Apple식 게임을 하는 것 같음. 좋은 품질의 하드웨어를 팔고, 그 하드웨어를 구동하는 소프트웨어는 무료로 제공하는 방식임

아직은 그렇다는 것뿐임. 언젠가는 결국 현금화할 가능성이 있음

제품에 더 나은 프로세서를 넣어 줬으면 함. 이것도 ARM Cortex로 구동되는 또 하나의 NAS인지 궁금함

Ubiquiti에 대해서는 명백히 사실이 아님. 이들 제품으로 엔터프라이즈 영역에 들어가면 매달 돈을 내게 됨
매우 비싼 Identity Enterprise의 사용자당 월 구독, 최신 급조 릴리스에서 도움을 받기 위한 사이트별 지원 요금, Apple Wallet 지원 추가 비용까지 있음. 그 대가로 완전한 API나 제대로 된 SCIM 통합을 받는 것도 아님. API로 출입 로그도 가져올 수 없음. 규모가 커지면 제대로 동작하지 않는 답답한 회사임

Ubiquiti에서 가장 걱정되는 건 여전히 소프트웨어와 인프라 품질임
UI/UX 결함은 제쳐 두고도, 기억나는 것만 해도 정적 AWS 루트 접근 키에 직원이 접근할 수 있었던 일, 직원이 “원격 접근”이 종단 간 암호화라고 했지만 나중에 보니 전송 중 TLS를 뜻한 것에 가까웠던 일, 설정 오류로 일부 사용자가 다른 사용자의 카메라 피드를 볼 수 있었던 일이 있음
그 오류는 고쳤지만, 애초에 어떻게 그런 일이 가능했는지나 재발 방지를 위해 아키텍처 설계를 바꿨는지는 설명하지 않았음. ZFS는 좋지만, 몇 년을 다듬은 뒤에도 TrueNAS에서 작업의 절반은 SSH로 해야 함. Ubiquiti가 더 잘할 것 같지는 않음

“엔터프라이즈”라니
여러 번 직접 겪어 봤지만, Ubiquiti의 최신 운영 환경 테스트식 릴리스를 엔터프라이즈 환경에 넣는 것만큼 후회되는 일도 드묾

“복원력을 위한 듀얼 25기가비트 SFP28 포트와 이중화 전원공급장치”라고 하는데, 실제로 회전식 하드디스크로 그 링크를 포화시킬 수 있나?
HDD로 채운 TrueNAS ZFS 서버를 빠르게 만드는 데 정말 애를 먹었음. 처음엔 최대 속도를 노리고 12개를 넣었고, 128GB RAM과 10G 이더넷도 있었음. NVMe 기반 L2ARC 같은 최적화를 다 해 봤지만 효과가 크지 않았고, 튜닝과 테스트에 시간이 너무 많이 들었음
결국 포기하고 실제로 공유하는 데이터는 전부 NVMe 드라이브로 바꿨음. 4TB NVMe 8개를 넣었더니 이제 매우 쓸 만하고 L2ARC도 필요 없음. 임의 접근이든 순차 접근이든 똑같이 빠름
1년 넘게 전에 해서 NVMe 가격 상승은 피했음. 회전식 디스크 4개는 아직 두고 있지만, 뭔가 나쁜 일이 생기지 않는 한 접근할 일이 없는 보관용 데이터용임. 느리고 테이프 드라이브처럼 씀

듀얼 NVMe 캐시가 있고, RAID-0으로 묶으면 포화시킬 수 있음. 예를 들어 Samsung 990 Pro 하나만 해도 쓰기 속도가 50Gbps를 조금 넘는 것으로 알고 있음
더 큰 위험은 CPU임. Ubiquiti의 약 800달러짜리 8베이 NAS인 UNAS Pro 8에서도 이게 문제임. 이론상 10기가비트 네트워크가 있지만, 실제로는 저전력 ARM CPU라 비트를 충분히 빠르게 옮길 수 없음. 저렴한 가격대를 맞추려고 고른 게 분명함. Synology의 비슷한 장비는 1600달러쯤 하니 나쁘지 않은 절충이긴 하고, 실제로 2.5기가비트와 10기가비트 사이 어딘가는 의미 있게 낼 수 있지만 10기가비트 포화는 불가능함
ENAS는 더 강한 CPU를 쓰니 25기가비트를 따라갈 수도 있음. 50기가비트 본딩도 가능할지 모르겠지만, 결국 테스트해 봐야 알 수 있음

백업 노드에 40G NIC와 HDD 8개짜리 ZFS 풀이 있음. 두 개의 RAIDZ1 vdev를 스트라이프로 묶은 구성, 즉 4개 드라이브 raidz1-0과 4개 드라이브 raidz1-1이 “backup” 풀을 이룸
전체 백업 이미지를 다른 서버로 복원할 때 NFS로 보통 11~12Gbps 정도 나오고, 플래시 캐시 같은 건 전혀 없음
솔직히 임의 접근이나 작은 파일 접근을 제외하면, 22개 NVMe가 CPU에 직접 연결된 주 NVMe ZFS 서버도 원시 처리량은 그다지 더 빠르지 않음. 디스크 처리량 자체보다 훨씬 전에 ZFS나 네트워크 전송의 다른 병목에 걸리기 쉬운 듯함. 예를 들어 NFS에 점보 프레임을 켜는 것만으로도 성능과 효율이 꽤 좋아졌음

이게 떠올랐음. NAS용 10G 이더넷 네트워크 카드를 샀는데, 모뎀이 지원하는 대역폭과 겹쳐야 한다는 걸 뒤늦게 깨달음. 기억상 모뎀은 2.5G와 5G를 지원했음
이 분야를 전혀 몰라서 max(node1, node2)처럼 동작할 줄 알았는데, 실제로는 1G 링크로 협상됨. 그래서 메인보드 내장 2.5G 포트를 쓰는 게 더 빨랐음

SATA/SAS 구성을 어떻게 했는지에 따라 쉽게 병목이 생길 수 있지만, 지속적인 순차 읽기나 쓰기가 가능하다면 6Gbps SATA 드라이브 16개로 25Gbps 이더넷 2개를 포화시킬 수 있어야 함
스토어 링크에는 확장 포트도 두 개 보이니 25Gbps가 유용해질 만큼 대역폭을 확보하는 데 도움이 될 것임. 임의 읽기/쓰기나 혼합 사용에서는 가능성이 낮음

SSD로 채울 수 있고, SFP28은 워낙 흔해서 가격도 저렴함: https://www.fs.com/c/25g-sfp28-3215
하지만 회전식 디스크로는 포화시키지 못함. 100% 순차 읽기만 하더라도 마찬가지임
처음에는 NVMe로 채울 수 있다고 썼지만, 그건 틀렸음

합리적인 가격으로 보임. 데이터센터용 NAS를 사는 편은 아니고 홈랩에서 80TB짜리를 적당히 굴리는 정도지만, 다른 벤더의 비슷한 랙마운트 16베이는 더 비쌀 듯함. 아마 5천~6천 달러쯤이고 완성도는 더 낮을 수 있음

월 100달러짜리 스트리밍 서비스를 안 내면 약 40개월 만에 본전이 됨
수정: 드라이브는 포함되지 않음 :(

오늘 문자 그대로 이 제품 소식이 있는지 찾아보고 있었음. 출시될 거라고 널리 예상되어 왔기 때문임 4000달러는 꽤 큼. 중고 CSE-846을 그 1/4 가격쯤에 사고, X10 세대 메인보드를 몇백 달러에 사면 베이는 1.5배가 됨. 물론 3U가 아니라 4U이긴 함. ZFS 관리는 그렇게 어렵지 않음. Ceph도 아니고, 쉬운 모드를 원하면 TrueNAS를 올리면 어려운 부분을 추상화해 주는 훌륭한 UX를 얻음
3000달러 미만이었다면 아마 샀을 것 같음. 이게 나오길 기다리느라 CSE-826 두 대 교체를 미뤄 왔는데 실망스러움

이건 홈랩 대체 부품이 아님. “엔터프라이즈”이고, 그 말에 붙는 장점과 단점을 모두 갖고 있음. 오래된 X 하드웨어 얘기를 꺼내는 순간 다른 제품군임
그런 용도라면 ugreen의 UNas나 minisforum Ryzen AI 계열을 추천함

경쟁 제품을 생각해 봐야 함. 이들은 Synology RackStation 같은 제품을 겨냥하고 있고, 그런 장비는 드라이브 없이도 3000~5000달러임
UI와 Synology가 있는 구간은 minisforum, beelink, qnap, cwwk류 장비보다 10배 비싸지만, HPE, Dell, Pure 같은 엔터프라이즈 장비에 입문하는 비용의 1/10 수준이기도 함

최근 중고 Dell R240과 20TB 드라이브 4개를 이 가격보다 싸게 샀음. 관심 있으면 TechmikeNY에서 샀음

Ubiquiti는 제품과 제품군 전체를 버리기로 유명해서, 극도로 회의적으로 지켜볼 생각임

이게 xBSD인지, 아니면 ZFSoL을 얹은 UniFi OS(Debian)인지 모르겠음. 작성된 내용만으로는 알 수 없음
8코어와 64GB는 기본적인 블록·파일 서비스에는 충분하지만, 중복 제거 같은 부담 큰 ZFS 기능에는 부족함. 컨트롤러 이중화도 없어 보이고 전원공급장치만 이중화된 듯함. iSCSI를 전면에 내세운 건 좋고, 파일 서비스로만 제한하지 않은 점도 괜찮음. 객체 저장소나 NVMe-oF 언급은 없음
작업그룹이나 중소기업용으로는 괜찮고 기본적인 저렴한 플랫폼처럼 보이지만, NetApp이나 Pure Storage급 “엔터프라이즈”는 아님

Ubiquiti는 대부분의 제품에서 부패 방지 계층 모델을 따르는 것 같아서, 업스트림에서 가장 잘 지원되는 OS를 쓸 것으로 예상함
덕분에 벤더 위험을 줄일 수 있다고 봄. 예를 들어 여러 등급의 스위치를 제공하면서도 많은 브랜드처럼 특정 스위치 IC 벤더에 잡혀 있지 않을 수 있음
누군가 comstar를 이어받았으면 좋겠음. NetApp은 Oracle이 Sun을 사기 전 여러 JBOD 라인을 사서 죽였고, Oracle도 엔터프라이즈 저장장치 제품을 보호하려고 죽였음
NVMe-oF는 FPGA IP 벤더가 있으니 가능성이 있을 수 있지만, comstar 없이는 몇 가지 과제가 있음

다른 UNAS 장비들은 Debian 11 기반임. Debian에서 ZFS는 dkms라서, ENAS의 부트 드라이브가 무엇을 실행하는지 궁금함

Linux일 수도 있음. 지금은 Linux용 ZFS가 꽤 좋아졌기 때문임. 다른 Ubiquiti 장비들도 내가 알기로는 Linux 기반이라 잘 맞음

이걸 출시하는 건 좋지만, 2세대 제품이 나오기 전까지는 회사의 핵심 데이터를 걸지는 않겠음. Ubiquiti가 제품을 철수시키고 존재 자체를 없던 일처럼 만든 경험을 당했다는 말은 아니지만, 음...