Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HN AI Engineering 40건필터 해제
AI 에이전트 개발을 위한 오픈소스 프레임워크, Mastra 소개
Mastra는 React, Next.js 등 현대적인 TypeScript 스택 기반으로 AI 애플리케이션과 자율 에이전트를 구축할 수 있도록 설계된 오픈소스 프레임워크입니다. 40개 이상의 모델 제공업체와 연결되는 표준 인터페이스를 통해 OpenAI, Anthropic, Gemini 등의 다양한 LLM을 통합할 수 있습니다. 또한, 복잡한 다단계 프로세스를 제어하는 그래프 기반 워크플로우 엔진과 사용자의 개입이 필요한 지점(Human-in-the-loop)을 구현하여 신뢰성 높은 AI 제품 개발의 전 과정을 지원합니다.
LLM 애플리케이션 평가 플랫폼 Confident AI 출시: DeepEval 기반의 신뢰성 확보
Confident AI는 오픈소스 LLM 테스트 프레임워크인 DeepEval을 클라우드화한 플랫폼입니다. 기존 DeepEval이 단순히 평가만 수행하는 데 그쳤다면, Confident AI는 '데이터셋 편집기', '회귀 감지기(Regression Catcher)', '반복 인사이트' 기능을 추가하여 개발자 경험을 극대화했습니다. 특히 LLM-as-a-judge 방식의 한계를 극복하기 위해 DAG (Directed Acyclic Graph) 메트릭을 도입, 결정론적(deterministic) 평가 결과를 제공하며 RAG 파이프라인 및
ML 학습 최적화 OCR 파이프라인: 복잡한 학술 자료 구조화
본 시스템은 시험지, 교재 등 복잡하고 다국어적인 학술 자료에서 텍스트, 표, 수학 공식, 도표 등의 구조화된 데이터를 추출하는 AI 파이프라인입니다. 단순 OCR을 넘어, 시각적 콘텐츠에 대한 자연어 설명(Semantic Annotation)과 맥락 정보를 함께 제공하여 머신러닝 (ML) 학습 데이터셋 구축에 최적화되어 있습니다. 90~95% 이상의 높은 정확도를 자랑하며, JSON/Markdown 등 AI 친화적인 형식으로 출력을 지원합니다.
Chonky: 신경망 기반의 지능형 텍스트 의미 단위 분할 라이브러리
Chonky는 파인튜닝된 트랜스포머 모델을 활용하여 텍스트를 의미론적으로(semantically) 가장 적절한 청크(chunk)로 자동 분할하는 Python 라이브러리입니다. RAG (Retrieval-Augmented Generation) 시스템의 성능 향상에 필수적인 핵심 컴포넌트입니다. 사용자는 `ParagraphSplitter` 클래스를 통해 텍스트를 입력하고, 모델이 문맥적 의미 경계를 파악하여 고품질의 청크 배열을 얻을 수 있습니다. 특히 마크다운(markdown), XML, HTML 등 다양한 형식의 구조화된 문서에서
데이터-임베딩-API 파이프라인을 위한 함수형 DSL의 필요성
RAG(Retrieval-Augmented Generation) 워크로드 증가로 인해, 구조화된 데이터(JSONL)를 읽어 임베딩 벡터로 변환하고 외부 API/벡터 DB에 배치 전송하는 과정이 필수적입니다. 하지만 현재는 복잡한 중첩 for-loop와 수동적인 JSON 파싱 등 지저분하고 비효율적인 명령형 Python 코드로 처리해야 합니다. 본 글은 이 과정을 Unix 파이프나 Lisp/Elixir 같은 함수형 언어의 DSL처럼 선언적(declarative)이고 컴포저블한 방식으로 처리할 수 있는 전용 프레임워크 또는 DSL의 부
PDF 이미지 이해 기반, 로컬 구동 오픈소스 RAG 솔루션 Morphik 소개
기존의 RAG(Retrieval-Augmented Generation) 시스템은 텍스트 추출, OCR, 임베딩 등 여러 컴포넌트를 개별적으로 연결하는 과정에서 복잡하고 불안정한 파이프라인을 형성합니다. 특히 차트나 다이어그램 같은 시각적 정보가 포함된 문서를 이해하는 데 근본적인 한계를 가집니다. Morphik은 이러한 문제를 해결하기 위해 개발되었으며, ColPali와 같은 기술을 활용하여 이미지, PDF, 비디오 등 멀티모달 콘텐츠를 깊이 있게 검색하고 관리할 수 있는 통합 솔루션을 제공합니다. Python SDK 및 REST/
데이터 워크플로우 특화 AI 에디터 'nao' 출시: 데이터 엔지니어링 경험 혁신
기존의 범용 LLM 코딩 도구(예: Cursor)는 데이터베이스 스키마나 데이터 컨텍스트를 이해하지 못해 실제 데이터 작업에 한계가 있습니다. nao Labs에서 개발한 'nao'는 VS Code 기반으로 BigQuery, Snowflake, Postgres 등 주요 데이터 웨어하우스와 직접 연결되며, 사용자의 데이터 스키마와 코드베이스 전체를 RAG(Retrieval-Augmented Generation) 방식으로 학습합니다. 이를 통해 SQL, Python, YAML 등 데이터 관련 코드를 작성할 때 데이터의 출력을 예측하고,
AI 애플리케이션을 위한 오픈소스 벡터-그래프 데이터베이스: HelixDB
HelixDB는 AI 에이전트 및 RAG(Retrieval-Augmented Generation) 시스템 구축에 최적화된 통합 데이터베이스입니다. 기존에는 별도로 관리해야 했던 애플리케이션 DB, 벡터 DB, 그래프 DB 등의 여러 저장소를 하나의 플랫폼에서 처리할 수 있습니다. Rust로 작성되어 극도의 낮은 지연 시간(Ultra-Low Latency)을 제공하며, 그래프와 벡터 모델 외에도 KV, 문서, 관계형 데이터까지 지원합니다. 타입 안정성이 보장되는 HelixQL 쿼리 언어와 내장 임베딩 기능 등을 통해 개발자가 복잡한
고급 청킹 라이브러리 Chonkie 출시: RAG 성능 혁신을 위한 오픈소스 솔루션
Chonkie는 검색 증강 생성(RAG) 애플리케이션의 핵심 단계인 데이터 청킹 및 임베딩을 위한 경량 오픈소스 라이브러리입니다. 기존 라이브러리의 복잡성이나 낮은 성능에 대한 한계를 극복하고자 개발되었습니다. Chonkie는 토큰, 문장, 재귀적 방식 외에도 'Semantic Double Pass Chunking', 코드 기반의 'Code Chunking' 등 최신 연구 결과를 반영한 8가지 고급 청킹 전략을 지원합니다. 특히, 기존 대비 설치 용량이 훨씬 작고(기본 설치 약 15MB), 토큰 청킹 속도가 LangChain/Lla
모바일/웨어러블 기기를 위한 초저지연 AI 엔진, Cactus 소개
Cactus는 모바일 및 웨어러블 장치에 최적화된 저지연 (low-latency) 인공지능 추론 엔진입니다. ARM CPU에서 가장 빠른 추론 속도를 자랑하며, 제로 카피 메모리 매핑을 통해 기존 대비 10배 낮은 RAM 사용량을 구현했습니다. 단일 SDK를 통해 음성(Speech), 비전(Vision), 언어 모델(Language) 등 멀티모달 기능을 지원하며, NPU 가속화 프리필(prefill) 기능과 클라우드 폴백(Cloud fallback)을 자동 처리하여 안정적인 AI 경험을 제공합니다. C++ API와 Python/Sw
Elo 점수로 RAG 검색 정확도 극대화하는 방법
RAG (Retrieval Augmented Generation) 시스템의 핵심 과제 중 하나는 '검색(Retrieval)' 단계에서 충분히 관련성 높은 컨텍스트를 확보하는 것입니다. ZeroEntropy는 최신 임베딩 모델인 zembed-1과 최고 성능의 리랭커(reranker)인 zerank-2를 제공하여 이 문제를 해결합니다. 특히, 검색 결과에 체스 Elo 점수와 같은 정교한 랭킹 메커니즘을 적용하는 아이디어를 통해 단순 키워드 매칭을 넘어선 높은 정확도의 컨텍스트를 확보할 수 있습니다. 이는 실시간 에이전트 및 사용자 대면
로컬 기반 AI 동료 Rowboat: 지식 그래프를 구축하고 작업에 활용하는 오픈소스 IDE
Rowboat은 이메일, 회의록 등 사용자의 실제 업무 데이터를 연결하여 장기적인 '지식 그래프(Knowledge Graph)'를 구축하는 로컬 우선(local-first) AI 코워커입니다. 단순히 검색을 통해 임시 컨텍스트를 재구성하는 기존 AI 도구와 달리, 시간이 지날수록 축적되고 관계가 명확한 영구적인 기억을 제공합니다. 이 그래프를 기반으로 프레젠테이션 자료 생성, 회의 준비 브리핑, 문서 초안 작성 등 실제 아티팩트를 만들고 워크플로우를 실행할 수 있습니다. 모든 데이터는 사용자의 로컬 Markdown 볼트에 저장되어
로컬 환경에서 구동하는 오픈소스 AI 플랫폼, LlamaFarm 소개
LlamaFarm은 클라우드 의존성 없이 사용자의 로컬 하드웨어(Apple Silicon, NVIDIA, AMD 등)에서 모든 AI 작업을 수행할 수 있는 오픈소스 프레임워크입니다. RAG 애플리케이션 구축, 커스텀 분류기 훈련, 이상 탐지(Anomaly Detection), 문서 처리 등 엔터프라이즈급 기능을 완벽한 개인 정보 보호 환경에서 제공합니다. API 비용 없이 자체 모델을 활용하며, 별도의 복잡한 설치 과정 없이 데스크톱 앱 다운로드만으로 즉시 사용 가능하여 개발 생산성을 극대화할 수 있습니다.
AI 기반 지식 관리 시스템 'Jargon': 다양한 출처에서 아이디어 추출
Jargon은 기사, 논문, 동영상 등 이질적인 미디어를 인덱스 카드 형태의 핵심 아이디어로 구조화하는 AI 기반 지텔카스텐(zettelkasten)입니다. 단순 요약을 넘어 의미론적 임베딩을 활용하여 자료 전반에 걸친 연결고리를 찾아내고, 이를 상호 연결된 통찰력(insight cards) 지식 기반으로 구축합니다. RAG (Retrieval-Augmented Generation) 기능을 통해 웹 검색 결과와 자체 라이브러리 콘텐츠를 종합적으로 답변하며, 사용자가 깊이 있는 연구 질문을 던지고 탐색할 수 있도록 돕습니다.
LLM의 동작을 제어하는 새로운 방법: 런타임 개입(Runtime Intervention) 기술
Mentat은 LLM의 행동에 결정론적 통제력을 부여하는 API를 제공합니다. 기존의 RAG나 프롬프트 엔지니어링 방식이 확률적이고 취약한 한계를 가졌던 것과 달리, Mentat은 모델의 추론 과정(forward pass) 중 잠재 특징 벡터(latent feature vectors)에 직접 개입하여 편향이나 환각을 수정합니다. 이를 통해 금융, 의료 등 높은 신뢰도가 요구되는 산업에서 감사 수준의 안정성(audit-grade reliability)을 확보할 수 있습니다.
Go & Next.js 기반 엔터프라이즈급 B2B SaaS 스타터 템플릿 공개
본 프로젝트는 진지하게 사업을 시작하는 창업가들을 위해 Go와 Next.js를 결합한 엔터프라이즈급 B2B SaaS 보일러플레이트를 오픈소스로 공개했습니다. 최신 기술 스택(Next.js 16, React 19, TypeScript v5.7.3)과 고성능 백엔드(Go 1.25, Gin)를 결합하여 개발자 경험을 극대화했습니다. Stytch 인증, Polar.sh 결제 시스템 통합은 물론, pgvector 기반의 RAG 파이프라인, Mistral OCR 서비스 연동까지 갖추어 즉시 상용 제품 개발에 투입할 수 있는 완성도를 자랑합니다
GibRAM: 인메모리 그래프 기반 RAG 워크플로우 런타임 소개
GibRAM은 검색 증강 생성 (RAG) 워크플로우에 최적화된 인메모리 지식 그래프 서버입니다. 단순한 벡터 유사성 검색을 넘어, 엔티티와 관계(relationship)를 메모리에 저장하고 탐색하여 관련 문맥 정보를 끌어냅니다. 데이터는 휘발성(ephemeral)으로 관리되어 단기 분석 및 실험에 적합하며, Python SDK를 통해 청킹(chunking), 추출(extraction), 임베딩(embedding) 등 모든 구성 요소를 커스터마이징할 수 있어 높은 유연성을 제공합니다.
LLM 시대 필수 가이드: 데이터 엔지니어링 북 (Data Engineering Book)
본 책은 대규모 언어 모델(LLM)의 성능을 좌우하는 핵심 요소인 '데이터'에 초점을 맞춘 오픈 소스 커뮤니티 가이드입니다. 단순한 이론을 넘어, 전처리 데이터 클리닝부터 멀티모달 정렬, RAG 파이프라인 구축까지 LLM 데이터 라이프사이클 전체를 체계적으로 다룹니다. 6개 파트와 13개의 챕터, 그리고 실제 코드를 포함한 5가지 엔드투엔드 프로젝트(예: Mini-C4 전처리 세트 구축, 법률 도메인 SFT 등)를 제공하여 실무 개발자가 즉시 적용 가능한 깊이 있는 지식을 얻을 수 있도록 설계되었습니다.
파일 기반 자동 RAG 시스템 'Captain' 소개: 고성능 지식 검색 솔루션
Captain은 파일 기반의 질문 답변(Question Answering) 및 정보 추출을 위한 엔드투엔드 RAG (Retrieval-Augmented Generation) 플랫폼입니다. 기존의 불안정하고 관리하기 어려운 RAG 구현 방식의 문제점을 해결하며, 표준화되고 완전하게 관리되는 컨텍스트 파이프라인을 제공합니다. 특히 Open RAG 벤치마크에서 일반 RAG보다 20% 이상 높은 정확도를 입증했으며, 고성능 데이터 처리(Text, Image, Video)와 민감 정보 식별(PII, 규제 콘텐츠) 기능까지 통합하여 기업의 복
Apple Silicon 기반 온디바이스 AI 비서 RCLI 출시
RCLI는 macOS 환경에서 구동되는 완전한 온디바이스(on-device) 음성 AI 시스템입니다. STT, LLM, TTS, VLM 파이프라인 전체가 클라우드 연결 없이 Apple Silicon 칩셋에서 네이티브로 작동합니다. MetalRT라는 자체 GPU 추론 엔진을 활용하여 M3 이상의 기기에서 최대 550 tok/s의 높은 처리량과 200ms 미만의 낮은 음성 지연 시간을 달성했습니다. 사용자는 음성 또는 텍스트 명령으로 Mac의 기능(앱 실행, 음악 재생 등)을 제어하고, 로컬 문서 검색(RAG), 실시간 카메라 및 화면
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.