Snapdragon X2 노트북을 활용한 20만 개 문서 기반 RAG 구현

Qualcomm은 최근 새로운 𝐒𝐧𝐚𝐩𝐝𝐫𝐚𝐠𝐨𝐧 𝐗𝟐 𝐥𝐚𝐩𝐭𝐨𝐩 칩셋을 출시했습니다. 저는 즉시 제품을 주문했습니다: ASUS Zenbook A16 16" 3K OLED Touchscreen Laptop — Snapdragon X2 Elite Extreme (2026)

이 기기에서 정말 마음에 드는 몇 가지 사항은 다음과 같습니다:

1. 𝐄𝐱𝐭𝐫𝐞𝐦𝐞𝐥𝐲 𝐥𝐢𝐠𝐡𝐭 (매우 가벼움).
   최근 홍콩 공항에서 탑승 전 프로그램을 실행하면서 세관에서 Gate G46까지 혼자서 이 노트북을 들고 이동했습니다. 마치 커다란 휴대폰을 들고 있는 듯한 기분이었습니다.

2. 𝐕𝐞𝐫𝐲 𝐩𝐨𝐫𝐭𝐚𝐛𝐥𝐞 𝐩𝐨𝐰𝐞𝐫 𝐚𝐝𝐚𝐩𝐭𝐨𝐫 (매우 휴대성 좋은 전원 어댑터).
   RTX 노트북에 필요한 무거운 전원 브릭(power brick)과 비교했을 때, 어댑터가 극적으로 가볍습니다. 그럼에도 불구하고 전력 소비량은 여전히 United 항공의 기내 충전 제한을 초과합니다.

3. 𝐒𝐭𝐫𝐨𝐧𝐠 𝐍𝐏𝐔 𝐩𝐞𝐫𝐟𝐨𝐫𝐦𝐚𝐧𝐜𝐞 (강력한 NPU 성능).
   NPU(Neural Processing Unit)를 적절히 활용하면 성능이 좋습니다. 예를 들어, 임베딩/인덱싱(embedding/indexing) 속도는 훨씬 가볍고 조용한 폼 팩터에서 작동하면서도 RTX 5060 노트북의 약 50% 수준에 도달합니다.

첨부된 영상은 이 노트북에서 실행되는 VecML의 AI-PC 소프트웨어를 보여줍니다.

𝐇𝐢𝐠𝐡𝐥𝐢𝐠𝐡𝐭𝐬 (주요 특징):

• 𝐌𝐚𝐬𝐬𝐢𝐯𝐞 𝐝𝐨𝐜𝐮𝐦𝐞𝐧𝐭 𝐜𝐨𝐥𝐥𝐞𝐜𝐭𝐢𝐨𝐧 (대규모 문서 컬렉션): 약 200,000개의 파일이 인덱싱 중임 (“이 실행에서는 약 100,000개가 완료됨”)

• 𝐋𝐨𝐰-𝐭𝐨𝐤𝐞𝐧 𝐫𝐞𝐭𝐫𝐢𝐞𝐯𝐚𝐥 (낮은 토큰 검색): 이 실험에서 단 “약 1200개의 검색 토큰(retrieval tokens)”만 사용됨

• 𝐋𝐨𝐰-𝐦𝐞𝐦𝐨𝐫𝐲 𝐑𝐀𝐆 (저메모리 RAG): 대부분의 데이터를 디스크로 오프로드(offload)하고 단 128-shard의 활성 버퍼만 사용함

• 𝐅𝐚𝐬𝐭 𝐚𝐧𝐝 𝐚𝐜𝐜𝐮𝐫𝐚𝐭𝐞 𝐑𝐀𝐆 𝐩𝐞𝐫𝐟𝐨𝐫𝐦𝐚𝐧𝐜𝐞 𝐨𝐧-𝐝𝐞𝐯𝐢𝐜𝐞 (기기 내 빠르고 정확한 RAG 성능)

𝐁𝐞𝐡𝐢𝐧𝐝 𝐭𝐡𝐞 𝐬𝐜𝐞𝐧𝐞𝐬, 𝐕𝐞𝐜𝐌𝐋’𝐬 𝐚𝐥𝐥-𝐢𝐧-𝐨𝐧𝐞 𝐀𝐈 𝐝𝐚𝐭𝐚𝐛𝐚𝐬𝐞 𝐩𝐥𝐚𝐲𝐬 𝐚 𝐤𝐞𝐲 𝐫𝐨𝐥𝐞 (배후에서는 VecML의 올인원 AI 데이터베이스가 핵심적인 역할을 수행합니다).

엔터프라이즈 규모의 AI 시스템은 일반적으로 다음과 같이 함께 작동하는 여러 데이터베이스를 필요로 합니다:
• 벡터 데이터베이스 (Vector database)
• 그래프 데이터베이스 (Graph database)
• 관계형 데이터베이스 (Relational database)
• 키-값 저장소 (Key-value store)
• 검색 데이터베이스 (Search database)
• 문서 데이터베이스 (Document database)

우리는 엔터프라이즈 AI 및 에이전트 시스템을 위해 이 6가지 시스템의 핵심 기능을 통합된 아키텍처로 통합한 자체 AI 데이터베이스 플랫폼을 개발했습니다.

이를 통해 인덱싱, 검색, 그래프 순회(graph traversal), 저장 및 메모리 관리에 걸친 공동 최적화가 가능해지며, 클라우드와 AI-PC 배포 모두에서 낮은 토큰, 낮은 메모리 사용량, 빠르고 정확한 AI 시스템을 달성하는 데 도움이 됩니다.

여기서 보여주는 데모는 Snapdragon X2 Windows 노트북에서 실행됩니다. 𝐎𝐮𝐫 𝐦𝐚𝐜𝐎𝐒 𝐀𝐈-𝐏𝐂 𝐬𝐨𝐟𝐭𝐰𝐚𝐫𝐞𝐢𝐬 𝐧𝐨𝐰 𝐨𝐩𝐞𝐧 𝐟𝐨𝐫 𝐜𝐨𝐧𝐭𝐫𝐨𝐥𝐥𝐞𝐝 𝐭𝐞𝐬𝐭𝐢𝐧𝐠(당사의 macOS AI-PC 소프트웨어는 현재 제한적 테스트를 위해 공개되었습니다).