Launch HN: Sift Dev (YC W25) – AI 기반의 Datadog 대안

안녕하세요 HN! 저희는 Kaushik과 Ishir입니다. 저희는 실시간으로 관측 가능성 (Observability) 데이터를 이해하고, 이상 징후 (Anomalies)를 자동으로 식별하며, 자연어 질의 (Natural language queries)를 통해 로그와 상호작용할 수 있는 지능형 로깅 도구인 SiftDev (https://app.trysift.dev/docs)를 구축하고 있습니다. 여기 데모 영상이 있습니다: https://www.youtube.com/watch?v=uQ-TTdiu3fc&t=20s, 그리고 여기서 직접 체험해 볼 수 있는 데모 플레이그라운드 (Demo playground)도 있습니다:

저희는 이전에 Datadog과 Splunk에서 제품 및 엔지니어링 업무를 담당했습니다. 저희는 업계 선두의 이러한 도구들을 사용하는 팀들조차 로깅 데이터를 효과적으로 해석하고 사용하는 데 어려움을 겪는 것을 목격했습니다. 엄청난 양의 로그는 전문가와 신입 모두를 압도하여, 의미 있는 문제나 패턴을 빠르게 식별하는 것을 어렵게 만들었습니다. 강력한 인덱싱 (Indexing) 및 검색 기능에도 불구하고, 개발자들은 여전히 서로 다른 로그, 대시보드 (Dashboards), 소스들로부터 문맥 (Context)을 수동으로 짜 맞추어야 했으며, 이는 지루하고 오류가 발생하기 쉬운 과정이었습니다.

“노이즈가 많은 로깅 (Noisy logging)” 문제, 즉 압도적인 양의 원시 로그 데이터와 사람들이 실행에 옮길 수 있는 인사이트 (Insights) 사이의 간극은 궁극적으로 기계(이 모든 데이터를 생성하는 주체)와 인간(인사이트를 원하고 필요로 하는 주체) 사이의 간극입니다. SiftDev는 그 간극을 메우고 디버깅 (Debugging) 및 관측 가능성 (Observability)의 지루하고 수동적인 측면을 자동화하기 위해 구축되었습니다. 마케팅 용어로 표현하자면, “인간은 다시는 로그를 들여다볼 필요가 없어야 합니다!” 저희는 사람들이 인간의 수준에서 이해할 수 있는 용어로 데이터와 상호작용해야 한다고 생각합니다.

SiftDev를 차별화하는 점은 시간이 흐름에 따른 애플리케이션 컨텍스트 (application context)에 대한 이해입니다. 기존의 도구들이 일반적으로 개발자가 로그를 고립된 상태로, 혹은 주변 컨텍스트가 거의 없는 상태에서 분석하도록 하는 반면, SiftDev는 애플리케이션의 정상적인 동작 패턴에 대한 포괄적인 프로파일 (profiles)을 구축합니다. 이러한 인지 능력을 통해 우리는 무엇이 진정으로 비정상적인지, 그리고 단일 스냅샷 (snapshot)에서는 특이해 보일 수 있지만 실제로는 귀하의 특정 애플리케이션에서 예상되는 동작인지를 구분하여 이해할 수 있습니다.

SiftDev는 애플리케이션의 로깅 (logging) 동작을 총체적으로 이해하기 위해 의미론적 분석 (semantic analysis)과 프로파일링 (profiling)을 적용합니다. SiftDev는 단순히 수동 검색에 의존하는 대신, 핵심 애플리케이션 프로세스를 식별하고, 패턴을 자동으로 감지하며, 명확한 설명과 컨텍스트를 포함한 이상 징후 (anomalies)를 드러냅니다.

실제 적용 사례는 다음과 같습니다:

• 핵심 프로세스 식별: SiftDev는 수동 태깅 (tagging) 없이도 승인, 캡처, 환불과 같은 결제 워크플로 (workflows)를 즉각적으로 인식합니다.
• 성능 패턴 감지: SiftDev는 야간 배치 작업 (nightly batch job)이 통상적으로 45분 동안 10,000개의 레코드를 처리한다는 점을 학습하여 명확한 베이스라인 (baseline)을 설정합니다.
• 숨겨진 이상 징후 노출: SiftDev는 두 개의 마이크로서비스 (microservices)가 50ms 이내에 동일한 레코드를 업데이트하는 것과 같이, 일반적인 로그에는 숨겨져 있는 침묵의 실패 (silent failures)를 찾아냅니다.

그 후 여러분은 로그에 직접 “우리 체크아웃 서비스에서 에러를 유발하는 원인이 무엇인가요?” 또는 “왜 새벽 2시에 지연 시간 (latency)이 급증했나요?”와 같은 질문을 던질 수 있으며, 그렇지 않았다면 수동으로 찾아야 했을 통찰력 있고 실행 가능한 답변을 즉시 받을 수 있습니다.

저희의 데모 플레이그라운드(https://app.trysift.dev/)를 통해 제품을 테스트해 보시길 바랍니다! 저희 플랫폼의 기능이 약간 축소된 버전이지만 많은 핵심 기능을 공유하고 있습니다. 참고: 테스트를 위해서는 사용자 가입이 필요하지만, 대기 명단 (waitlist) 등록은 선택 사항입니다.

로깅 및 관측성 (observability) 문제와 관련하여 여러분의 피드백, 생각, 그리고 경험을 들려주시면 감사하겠습니다!