Launch HN: Helicone.ai (YC W23) – OpenAI를 위한 오픈 소스 로깅

안녕하세요 HN 여러분 - Justin, Scott, 그리고 Barak입니다. 저희는 OpenAI 애플리케이션을 위한 오픈 소스 (open-source) 로깅 솔루션인 Helicone (https://www.helicone.ai)을 소개하게 되어 기쁩니다. Helicone의 한 줄 통합(one-line integration)은 귀하의 OpenAI 요청에 대한 프롬프트 (prompts), 완성 (completions), 지연 시간 (latencies), 그리고 비용 (costs)을 기록합니다. 현재 GPT와 함께 작동하며, 코드 한 줄로 통합할 수 있습니다. 데모는 다음에서 확인하실 수 있습니다.

Helicone의 핵심 기술은 모든 OpenAI 요청을 저희의 에지 배포된 Cloudflare Workers를 통해 라우팅하는 프록시 (proxy)입니다. 이 워커 (workers)들은 매우 신뢰할 수 있으며 프로덕션 (production) 환경에서 눈에 띄는 지연 시간 영향을 주지 않습니다. 프록시로서 저희는 관찰 가능성 (observability) 그 이상을 제공합니다. 캐싱 (caching)과 프롬프트 포매팅 (prompt formatting)을 제공하며, 곧 사용자 속도 제한 (user rate limiting)과 모델 제공자 백오프 (model provider back off) 기능을 추가하여 OpenAI가 다운되었을 때도 귀하의 앱이 계속 작동할 수 있도록 할 예정입니다.

저희 웹 애플리케이션은 어떤 사용자가 비용을 불균형하게 유발하는지, 프롬프트별 토큰 사용량 (token usage)은 어떠한지 등 주요 지표 (metrics)에 대한 통찰력을 제공합니다. 이 데이터를 사용자 정의 로직 (custom logic)에 따라 필터링하고 다른 목적지로 내보낼 수 있습니다.

Helicone을 시작하는 것은 귀하가 사용하는 OpenAI SDK에 관계없이 빠르고 쉽습니다. 저희의 프록시 기반 솔루션은 제3자 패키지 (third party package)를 필요로 하지 않습니다. 단순히 요청의 기본 URL (base URL)을 https://api.openai.com/v1에서 https://oai.hconeai.com/v1로 변경하기만 하면 됩니다. Helicone은 LangChain, LlamaIndex 및 기타 모든 OpenAI 네이티브 라이브러리와 통합될 수 있습니다. (https://docs.helicone.ai/quickstart/integrate-in-one-line-of...)

저희는 흥미로운 새로운 기능들을 준비 중이며, 그중 하나는 사용자 피드백을 기록하기 위한 API입니다. 예를 들어, GitHub Copilot과 같은 도구를 개발하고 있다면 사용자가 제안을 수락하거나 거부했을 때를 기록할 수 있습니다. 그러면 Helicone은 결과 품질을 지표로 집계하고, 비용을 절감하거나 성능을 향상시킬 수 있는 파인튜닝 (finetuning) 제안을 제공할 것입니다.

Helicone을 출시하기 전, 저희는 airapbattle.com, tabletalk.ai, dreamsubmarine.com을 포함하여 GPT-3를 활용한 여러 프로젝트를 개발했습니다. 각 프로젝트마다 저희는 Helicone의 베타 버전을 사용했으며, 이를 통해 사용자 참여도(user engagement)와 결과 품질 문제를 즉각적으로 파악할 수 있었습니다. 더 많은 빌더(builders) 및 기업들과 대화하면서, 저희는 그들이 이와 같은 솔루션을 자체적으로 구축하는 데 너무 많은 시간을 소비하고 있으며, 기존의 분석(analytics) 제품들은 GPT-3와 같은 추론 엔드포인트(inference endpoints)에 최적화되어 있지 않다는 사실을 깨달았습니다.

Helicone은 사용자가 자신의 인프라 내에서 Helicone을 사용할 수 있도록 Common Clause V1.0 및 Apache 2.0 라이선스 하에 개발되었습니다. 셀프 호스팅(self-host)을 원하지 않는 경우, 제품을 체험해 볼 수 있도록 매월 1,000건의 요청을 무료로 제공하는 호스팅 솔루션을 제공합니다. 해당 한도를 초과할 경우 유료 구독 서비스를 이용할 수 있으며, 가격 정보는 https://www.helicone.ai/pricing 에서 확인하실 수 있습니다.

HackerNews 커뮤니티에 Helicone을 소개하게 되어 매우 기쁘며, LLM 로깅(logging) 및 분석(analytics)과 관련된 여러분의 생각, 아이디어, 경험을 듣고 싶습니다. 저희는 의미 있는 토론에 참여하기를 간절히 바라고 있으니, 여러분의 통찰과 피드백을 주저하지 말고 공유해 주세요!