LLM과 임베딩을 사용한 애플리케이션 오류 분류 방법

이것은 highlight.io에서 개발 중인 일부 오류/임베딩 로직의 간단한 데모입니다. 데모를 보려면 여기 저희 앱을 참고하세요.

저희의 목표는 두 가지 기능을 구축하는 것이었습니다: (1) 오류 태그 지정하기(예: 특정 오류를 “인증 오류” 또는 “데이터베이스 오류”로 간주); 그리고 (2) 유사한 오류들을 그룹화하기(예: 스택 트레이스와 본문은 다르지만 의미적으로 크게 다르지 않은 두 개의 오류).

텍스트를 분류하거나 비교하는 저희의 일반적인 접근 방식은 다음과 같습니다. 토큰 세트(즉, 문자열)가 들어올 때마다, 저희 백엔드는 추론 엔드포인트에 요청을 보내고 응답으로 1024차원 부동 소수점 벡터를 받습니다. 그런 다음 이 벡터를 pgvector를 사용하여 저장합니다. 두 세트를 유사성 비교하기 위해서는, pgvector가 구현한 ivfflat 인덱스를 사용하여 각각의 임베딩 간의 유클리드 거리를 확인하기만 하면 됩니다.

하커 뉴스에서 전체 게시물을 확인하세요.