Insights, 관심 있는 정보를 모으는 개인 파이프라인

사이트에 Insights 피드를 만들어 두었다.
RSS, arXiv, Hacker News, Reddit, GitHub, X 같은 곳에서 관심 있는 자료를 모으고, 필요한 글을 골라 한국어로 읽을 수 있게 정리하는 서비스다. AI 연구와 개발, 코딩 도구, 게임 개발, 하드웨어 같은 주제를 다룬다.

화면에서는 자동으로 올라오는 기술 동향 피드처럼 보인다. 그 뒤에는 수집한 자료를 쌓아 두고, 내가 쓰는 AI도 다시 찾아볼 수 있게 만드는 개인 정보 파이프라인이 있다.
사람이 읽는 피드와 AI가 검색하는 자료 저장소를 같은 데이터로 운영한다.

사이트 뒤의 두 대

구조는 NAS와 Mac mini로 나뉜다.
NAS에서는 Next.js 사이트와 MongoDB가 돌아간다. 공개 피드와 관리자 화면을 제공하고, RSS나 GitHub 같은 소스에서 새 자료를 수집해 처리 대기 목록에 넣는다. 소스별 일정은 사이트 안의 스케줄러가 확인한다.

Mac mini에서는 Python 사이드카와 LM Studio가 돌아간다. 사이드카는 웹 서비스 옆에서 별도로 실행하는 처리 서버다. X 수집과 YouTube 자막·음성 처리처럼 별도 도구가 필요한 작업도 이쪽에서 맡는다.
LM Studio는 로컬 모델을 실행하고, 사이드카의 워커들은 모인 자료의 필터링과 번역, 분석, 임베딩을 처리한다. Insights의 모델 추론은 이 로컬 엔진을 사용한다.

두 장비 사이의 연결점은 MongoDB다. 수집기는 처리할 자료와 진행 상태를 저장하고, 워커는 그 자료를 가져가 다음 단계를 이어 간다. 완료된 인사이트도 같은 DB에 저장하므로 사이트는 결과를 읽어 보여주면 된다.
웹 요청이 들어올 때마다 번역이 끝나기를 기다리는 구조가 아니라, 뒤에서 처리한 결과를 피드에 쌓아 두는 방식이다.

NAS의 사이트·수집·DB와 Mac mini의 워커·로컬 모델을 연결한 Insights 구조도

글 한 편이 올라오는 과정

새 자료가 들어오면 먼저 원문 페이지에서 본문을 가져온다. 관심 주제에 맞는지, 광고성 자료인지 등을 필터링하고 원문 텍스트를 정제한다. 이미 처리한 URL이나 같은 내용은 번역 전에 걸러 불필요한 모델 호출을 줄인다.

그다음 필요한 글을 한국어로 번역한다. 한국어 원문은 그대로 두고, 외국어 원문은 내용을 충실히 옮기는 것을 기준으로 삼는다.
본문과 요약의 역할도 나눴다. 본문은 원문이나 번역문으로 유지하고, AI가 만드는 요약과 핵심 포인트, 태그, 분류는 별도 필드에 저장한다. 요약을 읽고 관심이 생기면 본문과 원문 링크를 이어서 확인할 수 있다.

분석이 끝나면 품질 기준을 확인하고 임베딩을 만든다. 임베딩은 글의 의미를 숫자 벡터로 표현한 값이라, 비슷한 자료를 찾거나 중복을 비교할 때 쓴다.
URL과 내용 해시뿐 아니라 제목과 의미 유사도까지 확인한 뒤, 조건을 통과한 자료를 인사이트로 저장한다. 자동 게재가 켜진 소스의 글은 여기서 공개 피드에 올라온다.

워커는 하나의 작업 큐에서 자료를 받아 남은 단계를 끝까지 처리한다. 단계마다 진행 상태를 DB에 남기므로 중간에 실패해도 완료한 부분을 활용해 다시 처리할 수 있다.
워커 수와 모델 호출의 동시 실행 수는 LM Studio가 보고하는 슬롯 수에 맞춘다. 로컬 장비의 처리 한도 안에서 작업을 돌리는 구조다.

다시 꺼내 쓰는 자료

운영 중에는 수집 실패와 처리 오류, 대기 중인 자료를 관리자 화면에서 확인한다. 재시도할 수 있는 오류와 버릴 작업을 구분하고, 처리 중인 작업이 중복으로 잡히지 않도록 점유 상태도 관리한다.
검색어와 소스의 수집 결과를 기록해 다음 탐색에 반영하는 로직도 있다. 자료를 많이 가져오는 것과 쓸 만한 자료가 남는 것은 따로 봐야 한다.

쌓인 인사이트는 사이트에서 검색하거나 RSS로 구독할 수 있다. 인증된 MCP 연결로 AI 어시스턴트가 자료를 검색하고 상세 내용을 가져오는 경로도 마련해 두었다. MCP는 AI 도구가 외부 서비스를 호출할 때 쓰는 연결 규격이다.
피드에 올라온 글을 한 번 읽고 끝내지 않고, 나중에 관련 작업을 할 때 다시 꺼내 쓰는 쪽까지 이어진다.

로컬 모델을 사용해도 비용이 전부 사라지는 것은 아니다. 장비의 메모리와 처리량이 한계가 되고, 일부 수집 경로에는 외부 서비스 비용과 제한이 있다. 번역과 요약도 오류가 생길 수 있어 원문을 함께 확인하는 전제로 사용한다.
관심 있는 자료를 계속 모으고, 필요할 때 사람과 AI가 같이 찾아볼 수 있는 저장소로 운영하고 있다.

Insights 피드 보기