행을 삭제해도 SQLite 파일 크기가 줄지 않는 것은 내가 아는 모든 관계형 데이터베이스에서 마찬가지임. 일부 페이지를 반환하려고 끊임없이 페이지 병합을 수행하면 몹시 비효율적일 수밖에 없음.
문서에도 나와 있고 기본 원리로도 알 수 있어야 할 내용을 새로 배운 것처럼 적은 글을 보면 제품에 대한 신뢰가 바로 떨어짐.
누구나 배우는 과정이 있음. 다른 데이터베이스를 쓰다가 왔다면 vacuum을 명시적으로 활성화해야 한다는 사실이 자명하지 않을 수 있음.
이 용도에 Cassandra를 쓸 방법은 정말 없는지 궁금함. 분산 데이터베이스이고 실전에서도 상당히 검증됐는데, SSDB는 지원이 부족해서 제외했다고 함.
바이브 코딩으로 급조한 분산 데이터베이스는 aphyer가 철저히 시험하고 수년간 사용하면서 CAP 관련 예외 상황을 대부분 겪기 전까지는 데이터베이스라고 보기 어려움. 그전에는 쓰기와 커밋을 아무 경고 없이 유실할 가능성이 매우 높은, 불확실성의 블랙홀에 가까움.
예전에 뉴욕의 로봇 스타트업에서 면접을 봤는데, 면접관이 전 직장에서 스마트 쇼핑 카트에 WAL을 지원하는 데이터베이스가 필요해서 SQLite3를 버렸다고 했음. 그 뒤로는 그를 진지하게 받아들이기 어려웠음.
수년간 SQLite를 이 용도에 맞추려 애썼지만, 어느 길로 가든 고생뿐이었음. 애초에 이런 용도로 만들어진 도구가 아님.
바로 이 용도를 위해 https://github.com/anacrolix/possum을 만들었음. 다듬을 부분은 있지만 디스크 캐시 성능은 매우 뛰어남. 트랜잭션과 TTL 메타데이터에는 더 적합한 SQLite를 사용하지만, 여전히 병목임.
SQLite는 일괄 처리 없이는 트랜잭션 커밋 비용이 너무 높아 경쟁력이 없으며, 이는 다중 프로세스 지원에 따른 설계상의 결함임.
이 방식이 얼마나 잘 작동할지 모르겠음. 나는 늘 실제 데이터는 파일시스템이나 S3에, 메타데이터는 데이터베이스에 저장해 왔음. 다른 방식은 데이터베이스 안에 파일시스템을 만드는 것과 비슷해지기 시작하는데, 똑똑한 사람들도 여기에 많이 고생했음. 더 나은 방법이 있을까?
왜 SQLite를 쓰고 RocksDB는 쓰지 않는지 궁금함. 블롭 저장소에 결국 필요한 것은 트랜잭션을 지원하는 키-값 저장소임. RocksDB라면 처리량과 지연 시간도 훨씬 개선하면서 트랜잭션 문제를 해결할 수 있음.
어떤 OLTP 데이터베이스든 내구성을 보장하는 트랜잭션 커밋은 느릴 수밖에 없음. fsync는 괜찮은 SSD에서도 약 1,000 IOPS 수준인 비싼 연산이므로, 처리량을 크게 높이려면 일괄 처리가 필요함.
다만 온라인에서 본 여러 벤치마크에 따르면 SQLite는 자체 부가 비용이 커서 fsync의 최대 IOPS에도 한참 못 미침. RocksDB나 LMDB 같은 다른 임베디드 데이터베이스가 더 좋은 성능을 낼 것임.
글 앞부분에서는 Sarat가 여러 데이터베이스가 수 MB 크기의 블롭을 저장하지 못한다고 했는데, 뒤에서는 원시 파일이 약 100 KiB 이상에서 SQLite보다 빨라지지만 압축한 값의 99%는 100 KiB보다 훨씬 작다고 함. 다른 데이터베이스를 시험할 때도 애플리케이션에서 압축해 봤는지 궁금함.
OpenStack Swift는 메타데이터 저장에 SQLite를 사용하며, 계정마다 SQLite 데이터베이스 하나를 둠. 컨테이너도 처음에는 하나씩 사용했지만, 2018년에 샤딩을 도입해 객체가 100만 개를 넘으면 여러 SQLite 데이터베이스로 나누도록 했음. 성능은 이상적이지 않으며, Ceph가 훨씬 잘 확장됨.
블롭 저장소를 더 빠르게 만드는 대신 JSON 블롭의 스키마를 SQL로 직접 표현할 수도 있음. 갱신 대부분이 일부만 바꾸는 작업이라면 저장장치 입출력과 가비지 컬렉션을 크게 줄일 수 있음.
블롭 유형마다 SQLite 데이터베이스를 하나씩 두고, 별도의 메타데이터용 SQLite 데이터베이스로 관리하면 됨. 강력한 AI 추론 모델로 각 JSON 스키마 유형에 맞는 SQLite 스키마와 가상 테이블 어댑터를 생성할 수도 있음.
LLM이 실행 중에 데이터베이스 스키마를 수정하게 하겠다는 건가? 느리고 오류가 나기 쉬워 보임.
변경분만 저장하고 주기적으로 합치는 방식도 시도했는지 궁금함. UI 설정용 사용자 환경설정이라 쓰기 트래픽은 많아도, 각 사용자가 한 번에 바꾸는 양은 작을 가능성이 높음. 그러면 1MB씩 쓰는 대신 작은 변경분만 기록하면 됨.
클라이언트에 보내기 전에 변경분을 적용하고, 일정 시간이 지나거나 변경분이 일정 개수 쌓이면 하나로 합쳐 다시 저장할 수 있음. 서버와 별도 코드는 여전히 필요하지만 데이터베이스 부하와 SSD 쓰기량을 크게 줄이고, 저장소는 기성 제품을 사용할 수 있을 것임.
처음부터 블롭 저장소를 전제로 삼은 것은 아닌지 궁금함. 어차피 SQLite로 갈 계획이었다면 JSON 스키마를 SQLite 테이블 구조로 정규화해도 좋은 결과를 얻었을 수 있음.
환경설정이 정말 사용자별 데이터라면 SQLite 데이터베이스 전체를 사용자에게 보내 WASM으로 읽게 할 수도 있음. 그러면 동시 쓰기를 걱정할 필요가 없고, 백업도 단순한 객체 저장소나 파일 저장소에 보관하면 됨. WAL 로그까지 활용할 수도 있겠지만, 사용자 소유 데이터라면 단순한 백업으로 충분해 보임.
전형적인 NIH 증후군, 즉 기존 도구를 두고 바퀴를 재발명하는 경우처럼 보임.
어떤 부분을 재발명한다는 건지 설명해 줄 수 있을까? SQLite가 이미 제공하는 기능을 다시 만든다는 뜻인가?
일관성 모델은 무엇이며, 노드가 예기치 않게 중단되면 어떻게 되는지 궁금함.
글과 GitHub 페이지 어디에서도 복제라는 단어를 찾지 못했음. 그렇다면 내결함성은 어떻게 확보하는 걸까?
나도 궁금함. GitHub에서 찾은 유일한 백업 방식은 cp였으며, 운영 환경에서는 파일시스템 스냅샷이나 Litestream을 사용할 수도 있음. Litestream이라면 litestream sync -wait로 쓰기 후 동기화를 강제하고 원격 복제가 끝날 때까지 기다릴 수 있음.