AI 기반 지식 관리 시스템 'Jargon': 다양한 출처에서 아이디어 추출
요약
Jargon은 기사, 논문, 동영상 등 이질적인 미디어를 인덱스 카드 형태의 핵심 아이디어로 구조화하는 AI 기반 지텔카스텐(zettelkasten)입니다. 단순 요약을 넘어 의미론적 임베딩을 활용하여 자료 전반에 걸친 연결고리를 찾아내고, 이를 상호 연결된 통찰력(insight cards) 지식 기반으로 구축합니다. RAG (Retrieval-Augmented Generation) 기능을 통해 웹 검색 결과와 자체 라이브러리 콘텐츠를 종합적으로 답변하며, 사용자가 깊이 있는 연구 질문을 던지고 탐색할 수 있도록 돕습니다.
핵심 포인트
- 다양한 출처(기사, PDF, YouTube 등)의 자료를 파싱하여 인덱스 카드 형태의 핵심 아이디어로 구조화합니다.
- 의미론적 임베딩을 활용해 단순 요약을 넘어 관련 개념 간 연결고리를 찾아내고 중복 내용을 통합하는 것이 특징입니다.
- RAG (Retrieval-Augmented Generation) 기능을 통해 웹 검색 결과와 내부 지식 기반을 결합하여 종합적인 답변을 제공합니다.
- 추출된 노드(노트)를 기반으로 자동적으로 더 많은 자료를 탐색할 수 있는 연구 질문(Thread)을 생성합니다.
Jargon 소개
Jargon은 기사, 논문, 동영상 등 다양한 출처를 인덱스 카드 크기의 핵심 아이디어로 파싱하는 AI 기반의 지텔카스텐(zettelkasten)입니다. 이 시스템은 자료를 요약하고, 아이디어를 추출하며, 관련 개념을 연결하고, 중복된 내용을 통합합니다. 의미론적 임베딩(Semantic embeddings)을 통해 라이브러리 전반에 걸친 연결고리를 찾아냅니다.
각 출처는 기존 카드들의 맥락 속에서 파싱되어, 원본 자료와 연결되는 새로운 통찰력을 생성합니다. 그 결과물은 직접 탐색하거나 질문 답변용 RAG(Retrieval-Augmented Generation)로 사용할 수 있는 상호 연결된 아이디어의 지식 기반이 됩니다. 또한, 질문을 할 경우 웹에서도 결과를 가져오며, 이 과정에서 추출/요약/연결 파이프라인을 거쳐 라이브러리 콘텐츠와 종합됩니다.
Jargon의 주요 기능
- Ingest — 기사, PDF, YouTube 동영상을 스크랩하고 파싱합니다.
- Summarize — LLM이 각 출처를 간결한 요약으로 정제합니다.
- Extract — 핵심 아이디어가 소스 링크가 포함된 독립적인 통찰력 카드(insight cards)로 생성됩니다.
- Connect — 임베딩을 사용하여 관련 통찰력을 찾고, 중복 내용은 자동으로 통합합니다.
- Thread — 각 노드는 웹 검색을 통해 더 많은 자료를 찾는 연구 질문을 얻습니다.
기술적 구현 상세
학술 논문 및 PDF는 pdftotext를 사용하여 텍스트로 자동 다운로드 및 변환됩니다. Jargon은 초록(abstracts)에서
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기