Show HN: Kelet – LLM 앱용 근본 원인 분석 에이전트

개요

• 문제 발생 현황, 에이전트 건강도, AI 생성 요약 한눈에.
• 모든 실패 패턴 분류, 증거와 함께 배포 준비된 프롬프트 패치 제공.
• 임의의 트레이스 (trace) 검사. 정확히 어떤 단계가 깨졌는지, 왜 깨졌는지 확인.

이런 느낌은 familiar(익숙한) 것인가요?

• 에이전트가 실패합니다. 트레이스를 스크롤합니다. 수정을 추측합니다. 반복합니다.
• 이는 엔지니어링 주기의 30%를 차지합니다. 다른 대시보드만으로는 이를 해결할 수 없습니다.

Kelet 실제로 조사합니다. 지속적으로.

작동 방식

트레이스 및 신호 수집

• 에이전트 스택에 연결仅需 몇 분. 모든 에이전트 상호작용, 신호, 사용자 피드백이 자동으로 흐름.

왜 에이전트가 실패했는지 정확히 알기

• Kelet은 모든 트레이스를 읽으므로 여러분은 읽을 필요가 없습니다. 근본 원인은 증거로 뒷받침되어 몇 분 안에 표면화됩니다 — 감에 의존하지 않습니다.

수정 배포하고 검증

• 근본 원인부터 프롬프트 패치까지, 사전/사후 신뢰도 측정 포함. Kelet은 실제 세션에서 패치를 실행하고 사전/사후 결과를 보여줍니다. 배포 후 더 이상 맹목적으로 진행할 필요가 없습니다.
  // 모든 실수가 자동으로 교훈이 됩니다.

자주 묻는 질문 (FAQ)

일반적인 질문들

Kelet은 실제로 무엇을 하는가요?

• Kelet은 프로덕션 AI 에이전트 트레이스 및 신호를 읽습니다. 수천 개의 세션에 걸쳐 실패 패턴을 클러스터링하고, 증거로 근본 원인을 표면화합니다 — 따라서 여러분은 가설 대신 수정을 배포합니다. 이를 자동적으로 모든 실패를 조사하는 탐정이라고 생각하세요.

Kelet은 어떤 AI 에이전트 및 LLM 앱과 함께 작동하나요?

• 코드 소유권을 가진 모든 에이전트 또는 LLM 애플리케이션 — 에이전트 루프, 다단계 워크플로우, RAG 파이프라인, 채팅봇, 자율 에이전트. 여러분이 구축하고 배포한다면 Kelet은 이를 개선할 수 있습니다. 이는 LangChain, LangGraph, Google ADK, PydanticAI, Mastra, CrewAI, AutoGen, LlamaIndex, Haystack, Semantic Kernel로 구축된 에이전트를 포함합니다. 또는 OpenAI, Anthropic, Gemini, LiteLLM API에 직접 구축된 에이전트도 포함됩니다.
• Kelet이 적합하지 않은 두 가지 상황:
  • 다른 개발자가 만든 AI 도구를 사용한다면 (Cursor, Claude Code, Copilot 등), 여러분은 사용자이며 빌더가 아닙니다. Kelet은你们的 사용 사례를 위해 설계되지 않았습니다.
  • 기존 에이전트 플랫폼 내부에 스킬 또는 플러그인을 구축한다면, 여러분은 제어하지 않는 인프라를 확장하고 있습니다. Kelet은 이를 인스트루먼트 (instrument) 할 수 없습니다.
• 하지만 여러분이 어떤 LLM SDK 또는 프레임워크를 사용하여 자체 에이전트를 구축한다면 — 여러분은 그 에이전트를 소유합니다. 그리고 Kelet은 여러분을 위해 정확히 설계되었습니다.

통합에 얼마나 걸리나요?

• 5 분. Kelet 설치 스킬을 통해 설치하거나, pip install kelet / npm install kelet 을 사용하여 수동으로 설치할 경우 — 에이전트 코드에 두 줄 추가하고 트레이스가 시작됩니다. Kelet은 OpenTelemetry 완전 호환성 — OTEL 인스트루먼트된 에이전트는 별도의 인프라 변경 없이 바로 작동합니다.

Kelet은 실제로 어디에서 실행되나요?

• Kelet 서버에서. Kelet을 설치하면 (SDK 또는 설치 스킬을 통해), 트레이스 및 신호가 자동으로 우리 인프라로 흐름 시작됩니다. 이는 SOC 2 인증이며 24/7 운영, 지속적으로 여러분의 트레이스를 수집하고 실패 패턴을 찾으며 가설을 구축하고 타겟팅된 수정안을 제안합니다.
• 해당 분석을 위한 LLM 토큰은你们的 모델 API 비용에 영향을 주지 않습니다. Kelet이 이를 부담합니다. 사용량 기반으로 여러분은 Kelet을 지불합니다. kelet.ai/pricing 을 확인하세요.

Kelet은 스킬 (skill) 이나 서비스인가요?

서비스입니다. Kelet 은 Kelet 의 서버에서 24 시간 동안 실행되는 에이전트이며 — 호출하는 플러그인이 아니며, 수동으로 실행하는 것이 아닙니다. 설치자 (installer) 스킬은 단지 이를 연결하는 방법일 뿐입니다. 연결되면 Kelet 은 지속적으로 작동합니다: 트레이스 (traces) 를 읽으며, 수천 개의 세션에 걸쳐 실패 패턴을 클러스터링하고, 근본 원인을 가설화하며, 타겟팅된 수정안을 제안합니다. 여러분이 실행하지 않습니다. 여러분을 위해 실행됩니다.

"신호 (Signals)"란 무엇이며 왜 중요한가요?

신호는 세션에서 문제가 발생했음을 시사하는 확률적 힌트입니다: 하위 평가 (thumbs-down rating), AI 출력 편집, 대화 중단, 또는 여러분이 구성한 합성 LLM-as-judge 체크 등입니다. 신호는 Kelet 에 트레이스 어디를 볼지 알려줍니다 — 결론은 아니며, 조사에 안내하는 단서입니다.

Kelet 은 Langfuse, Arize, Logfire, 또는 다른 관측 가능성 (observability) 도구들과 어떻게 다릅니까?

그 도구들은 여러분에게 트레이스를 보여줍니다. Kelet 은 이를 읽습니다. 관측성 플랫폼은 온도계 — 증상을 보고합니다. Kelet 은 근본 원인을 진단하고 타겟팅된 프롬프트 패치를 생성하는 의사입니다. 이제 수천 개의 트레이스를 수동으로 스크롤할 필요가 없습니다.

Kelet 은 실제로 어떻게 근본 원인을 찾나요?

Kelet 은 탐정처럼 작동합니다. 모든 세션은 흔적을 남깁니다 — LLM 호출, 도구 호출, 리트리벌 단계, 에이전트 한 번의 이동 등입니다. Kelet 은 신호를 단서로 사용합니다: 하위 평가, 편집된 AI 응답, 중단된 대화, 합성 LLM-judge 플래그 등입니다. 각 스레드를 트레이스 따라 추적하며, 수천 개의 세션에 걸쳐 패턴을 교차 참조하고, 증거에 기반한 근본 원인 가설을 구축합니다. 이는 시니어 엔지니어가 수동으로 실행하는 것과 동일한 과정 — 자동화되어 대규모로, 모든 실패를 한 번에 처리합니다.

많은 트래픽이 필요할까요?

아니요. 팀은 일반적으로 200+ 세션과 3+ 신호를 구성하면 첫 번째 실제 실패 패턴을 볼 수 있습니다. 어떤 신호를 설정해야 할지 확신이 없다면? Kelet 의 AI 는 이를 안내합니다 — 추측 없이, 수동 구성 없이. 그리고 여러분이 제로에서 시작한다면, 합성 신호 프리셋 (LLM-as-judge 평가자) 은 실제 사용자 피드백이 축적되기 전에 첫 날부터 신호를 생성합니다.

Kelet 은 멀티 에이전트 아키텍처를 처리하나요?

네. Kelet 은 원생적으로 멀티 에이전트 세션을 처리합니다. 크레딧 할당 (credit assignment) 은 연쇄에서 실패를 유발한 정확한 에이전트를 식별하므로, 여러분이 수정해야 할 것이 무엇인지 알 수 있습니다 — 단순히 무언가가 고장 났다는 것을 아는 것보다.

Kelet 은 확장성을 위해 구축되었나요?

네 — Kelet 은 첫 날부터 프로덕션 규모를 위해 설계되었습니다. Kelet 의 팀에는 15 년 이상의 오픈소스 시스템 작업 경험을 가진 전 Kubernetes 유지 관리자들과 클라우드 네이티브 인프라 구조 비전들이 포함됩니다. Kelet 은 수백만 개의 트레이스, 동시 에이전트 플릿, 고 부하 프로덕션 워크로드를 처리합니다. 우리는 이미 이 규모에서 인프라를 구축했습니다 — Kelet 은 동일한 기반 위에 구축되었습니다.

비용은 어떻게 되나요?

무료로 시작하며, 신용카드가 필요하지 않습니다. 첫 번째 에이전트를 5 분 안에 연결하세요. 더 많은 팀이 필요한 경우 사용량 기반 가격이 부피에 따라 확장됩니다. 자세한 내용은 kelet.ai/pricing 을 확인하세요.

내 데이터는 안전하나요?

네. Kelet 은 SOC 2 인증을 받았습니다. 모든 데이터는 조직별로 데이터베이스 수준에서 격리되며 — 엄격한 행 수준 보안, 교차 조직 데이터 접근은 영원히 없습니다.

Kelet 은 AI 모델을 훈련하기 위해 내 데이터를 사용하나요?

절대 아닙니다. 우리는 데이터를 공유하거나 공개 모델을 훈련하는 데 사용하지 않습니다. 우리가 하는 것은 각 연결된 서브 에이전트 (sub-agent) 에 대해 자동으로 개인 모델 세트를 미세 조정 (fine-tune) 하는 것입니다. 약 한 dozen(12 개) 의 모델입니다. 이 모델들은 귀하의 계정에 저장되며, 귀하의 트레이스 (traces) 로 훈련되어 근본 원인 분석 (root-cause analysis) 만 수행합니다. 절대 공유되지 않습니다. 솔직히 말하면, 다른 사람에게는 유용하지도 않을 것입니다 — 이는 특정 에이전트에 맞춰 조정된 것이기 때문입니다.

누가 Kelet 을 만들었나요?

Kelet 은 생산성 AI 신뢰성에 집착하는 팀이 만들었습니다. 우리는 클라우드 네이티브 인프라스트럭처 (cloud-native infrastructure), Kubernetes 핵심 기여, LLM 시스템에서 왔습니다. 중요한 분산 시스템을 구축하고 운영해 온 엔지니어들이며, 다른 사람들이 이를 위해 의존하는 도구를 만드는 데 시간을 보냈습니다. 우리는 스스로가 겪은 고통을 느꼈기 때문에 Kelet 을 만들었습니다: 수천 개의 트레이스, 근본 원인 없음, 해결책 없음. 그래서 우리가 존재하기를 바랐던 도구를 만들었습니다.

나는 Kelet 을 내 생산 시스템에 신뢰할 수 있을까?

우리 팀은 전 세계 수천 명의 엔지니어가 사용하는 중요한 인프라스트럭처를 수년 동안 유지해 왔습니다. Kubernetes 와 클라우드 네이티브 툴링의 핵심 기여도 있습니다. Kelet 은 SOC 2 인증을 받았으며, 패시브 옵서버 (passive observer) 로 설계되었습니다: 트레이스에 대한 읽기 전용 액세스, 시스템 변경 없음, 업타임에 대한 위험 없음.