Leeroo 팀이 기업 데이터 환경을 위한 AI 시스템 구축 엔진 'Kapso'를 공개했습니다. 이 엔진은 조사-가설 설정-실험-학습의 반복적인 과정을 자동화하여, 복잡한 엔터프라이즈 데이터 환경에서 최적의 솔루션을 찾아 배포합니다. 과거 실험 결과를 학습하는 저장소를 통해 일반적인 RAG 방식보다 현장에 더 적합한 아이디어를 제안하는 것이 특징입니다.
핵심 포인트
데이터 작업 본질을 반영하여 반복적인 조사-실험-학습 프로세스를 자동화함.
Kapso는 과거 실험 결과를 '교훈 저장소(bank of lessons)'로 축적하고 활용함.
일반 LLM이나 RAG가 제공하는 가설보다 환경에 최적화된 아이디어를 제안함.
사용자가 목표와 성공 기준을 제시하면, 최적의 솔루션을 찾아 배포하는 것을 목표로 함.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN Show HN (AI)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
안녕하세요, HN! 저희는 Alireza와 Majid이며 Leeroo (https://leeroo.com/)를 만들고 있습니다. 이전에는 LinkedIn과 Meta를 포함하여 수백만 명의 사용자를 가진 제품을 위한 AI 시스템을 구축한 경험이 있습니다. 현재는 기업 데이터(enterprise data)를 위한 AI 시스템 구축에 집중하고 있습니다. 오늘 저희는 Kapso (https://github.com/Leeroo-AI/kapso)를 오픈 소스화합니다. 이 엔진은 실험을 실행하고, 최적의 솔루션을 배포하며, 모든 실행으로부터 학습합니다.
데이터 작업의 본질은 반복적입니다: 조사하고(investigate), 가설을 세우고(form hypotheses), 실험하며(experiment), 학습한 내용을 바탕으로 개선하는 것입니다. 이러한 하향식(bottom-up) 프로세스는 방대하고 복잡한 기업 데이터 환경에서 의미 있는 결과를 신속하게 제공할 수 있는 유일한 방법입니다. 회의에서 맥락을 파악하는 컨설턴트나, 데이터에 맞추기 위해 사전에 비즈니스 온톨로지(business ontology)를 정의하는 팀은 실행 가능성이 떨어집니다. AI 네이티브 시스템은 이 프로세스를 자동화하여, 새로운 조사와 구현마다 학습을 복리 효과처럼 쌓아 올릴 수 있어야 합니다.
예를 들어, 저희의 기업 프로젝트 중 하나는 한 회사가 기존 데이터 환경(data estate)에서 30개 이상의 소스 시스템 계열(source-system families), 수천 개의 테이블 및 변환(transformations), 그리고 수백 개의 BI 보고서가 있는 레이크하우스(lakehouse)로 이전하는 것이었습니다. 누구도, 심지어 AI 에이전트조차도 그 데이터 환경이 어떻게 연결되어 작동하는지 알지 못했습니다. 이를 학습할 수 있는 유일한 방법은 회사의 저장소(repos), dbt 모델, 문서, 그리고 실제 데이터를 조사하고, 해당 환경에 대한 가설을 제안하며, 실험을 실행하고, 각 시스템이 어떤 조건에서 어떻게 작동하는지 이해할 때까지 그로부터 배우는 것이었습니다.
반복적인 작업은 데이터와 시스템이 어떻게 결합하는지, 그리고 비즈니스 운영 방식까지 이해하는 것을 넘어섭니다. 유용한 소프트웨어를 구축하는 것 역시 반복적입니다. 창고를 최적화하든, 레이크하우스 파이프라인을 구축하든, 이탈(churn)을 예측하든, 해당 환경에서 무엇이 가장 잘 작동하는지 실험하고 학습해야 합니다. 프로젝트가 더 많이 진행될수록 이러한 노하우는 축적되며, 이는 원리적으로 강화학습 (RL)과 유사합니다. 문서에 대한 검색 증강 생성 (RAG)은 특정 환경에서 시도되고 그 결과가 학습되기 전까지는 가치가 거의 없습니다. 인간의 엔지니어링 작업과 마찬가지로, 실험과 학습은 샌드박스(sandbox) 환경에서 이루어져야 합니다.
저희는 이러한 종류의 작업을 위해 Kapso를 구축했습니다. 사용자가 목표와 성공 기준을 제시하면, Kapso가 스택에 배포할 수 있는 최적의 솔루션을 향해 작동합니다.
여기 비디오 워크스루(video walkthrough)를 볼 수 있습니다:
작동 방식은 다음과 같습니다...
Kapso는 과거 실험을 통해 유도되거나 추론된 교훈들의 저장소(bank of lessons)를 가지고 있으며, 각 교훈은 신뢰 점수(credence score), 적용 조건, 그리고 그 근거를 지니고 있습니다. 새로운 실험이 있을 때마다, 아이디어 생성 모듈(ideation module)은 이전의 교훈들을 고려하여 아이디어를 제안하고, 각 아이디어가 사용할 예산 대비 예상 수익률로 재순위화한 다음, 상위 순위의 아이디어들을 구현자에게 전송합니다. 이 저장소는 해당 환경에서 과거 실험으로부터 계속 학습하기 때문에, 제안되는 아이디어들은 LLM이나 RAG가 제공하는 일반적인 가설보다 그 환경에 더 적합합니다. 또한, 각 실험 결과는 어떤 실험도 접근하거나 속일 수 없는 검증기 모듈(verifier module)을 통해 검증됩니다. 저희가 이러한 시스템을 구축하면서 발견했듯이, 때로는 성공 기준과 평가 테스트 자체가 발전할 필요가 있습니다. 따라서 실험화 모듈은 검증기가 승인하거나 거부하기 위해 지표와 기준에 대한 업데이트를 제안할 수 있습니다.
각 실행 후, learn()은 해당 실행의 증거를 사용하여 교훈 은행(bank of lessons)의 점수와 경계를 업데이트합니다. 교훈 은행의 변경 사항은 이전 버전과 업데이트된 버전을 사용하여 동일하게 구축된 빌드를 실행함으로써 A/B 테스트할 수도 있습니다. 이 은행은 git 기반으로 구축되어 있어, 다른 사람들과 경험을 공유하고, 사용 가능한 은행 목록을 확인하며, 이를 업데이트할 수 있습니다 (kapso experience share/list/update를 CLI에서 사용). 이 시스템은 모델 비종속적(model-agnostic)이며 코딩 에이전트 비종속적(coding-agent-agnostic)입니다.
kapso.deploy(solution, target_stack)도 동일한 워크플로우를 따르며, 최적의 솔루션을 타겟 스택(예: Docker, Modal, BentoCloud, LangGraph)에 맞게 조정하기 위해 더 짧은 실험 루프를 실행합니다. 모든 도메인은 시작할 수 있는 하네스(harness)를 가지고 있으며, 플러그인에서 /kapso:harness를 사용하거나 CLI를 통해 자체 도메인 하네스를 작성할 수 있고 (kapso harness new <name>), 이를 실험을 실행하여 복합적으로 활용할 수 있습니다.
저희는 몇 가지 공개 벤치마크와 실시간 대회에서 이 시스템을 테스트했으며, 다음과 같은 결과를 얻었습니다…
관계형 데이터베이스 예측 모델링: RelBench, Kumo AI (현 Nvidia), 스탠퍼드 벤치마크 등에서 최초로 최고 수준의 테이블 기반 파운데이션 모델을 능가했습니다 (https://star-project.stanford.edu/relbench/leaderboard/). 이는 하네스 레벨에서 학습을 유지하는 것이 파운데이션 테이블 모델보다 우수할 수 있음을 보여줍니다. 교훈 은행을 업데이트하는 비용은 테이블 파운데이션 모델을 재훈련하는 것보다 훨씬 적게 듭니다.
저희는 Leeroopedia(https://leeroopedia.com/)에 ML 및 데이터 관련 공개 은행을 보유하고 있습니다: 논문과 리포지토리를 실험하며 추출한 약 10만 페이지 분량이며, 월간 약 6백만 건의 요청이 발생하고 있으며, 이 중 약 28%가 AI 에이전트에서 발생합니다.
여러 시스템과 기능에 걸쳐 복잡한 데이터 자산(data estate)을 보유하고 있으며, 데이터 및 AI 팀이 과부하 상태인 성장하는 기업에 계시다면, 저희가 도움을 드리고 싶습니다!