제가 만든 모든 LLM 앱은 같은 깨진 패턴을 가지고 있습니다.

요청이 들어오면 - 컨텍스트를 처음부터 재구성하고 - LLM을 호출한 다음 - 컨텍스트는 버려집니다.
이는 낭비가 심하고, 느리며, 대규모로 확장할 때 문제가 발생합니다.

문제점

AI 앱을 개발하는 대부분의 개발자들은 기본적인 메모리를 제공하기 위해서 Redis, 벡터 데이터베이스(vector database), 그리고 커스텀 미들웨어(custom middleware)를 엮어 붙이는 데 그칩니다.

이것은 취약합니다. 확장성이 떨어집니다. 게다가 모든 팀이 똑같은 접착 코드(glue code)를 재발명하고 있습니다.

StreamCtx가 하는 일

StreamCtx는 LLM 애플리케이션을 위해 특별히 구축된 스트리밍 컨텍스트 데이터베이스입니다.

• 실시간으로 대화 컨텍스트를 스트림합니다.
• 요청 간 세션 상태(session state)를 영속화합니다.
• 3~5개의 도구(tool)를 하나의 깔끔한 레이어로 대체합니다.

오픈 소스. MIT/Apache 2.0 라이선스.
솔로 창업자입니다.

[https://github.com/streamctx]

피드백과 베타 사용자 여러분을 환영합니다!