안녕하세요 HN입니다. 저희는 Jeffrey와 Kritin이며, Confident AI(https://confident-ai.com)를 개발하고 있습니다. 이는 엔지니어가 LLM 애플리케이션을 평가하고 단위 테스트할 수 있도록 돕는 오픈 소스 패키지인 DeepEval(https://github.com/confident-ai/deepeval)의 클라우드 플랫폼입니다. Pytest를 LLM에 적용한다고 생각하시면 됩니다.

저희는 지난 한 해 동안 최고의 LLM 평가 개발자 경험을 제공하는 것을 목표로 DeepEval을 구축했으며, 이를 BCG, AstraZeneca, AXA, Capgemini와 같은 기업들의 CI/CD 파이프라인에서 매일 60만 건 이상의 평가를 실행할 수 있도록 성장시켰습니다. 하지만 DeepEval은 단순히 평가를 실행하고 그 이후의 데이터를 가지고 아무것도 하지 않는다는 사실 자체가 최고의 경험은 아닙니다. 실패한 테스트 케이스를 검사하거나, 회귀(regressions)를 식별하거나, 심지어 최적의 모델/프롬프트 조합을 선택하려면 DeepEval만으로는 부족합니다. 그래서 저희는 이를 중심으로 플랫폼을 구축했습니다.

작동 방식에 대한 간단한 데모 비디오는 여기입니다:

Confident AI는 RAG 파이프라인, 에이전트(agents), 챗봇(chatbots)에 매우 유용합니다. 일반적인 사용 사례로는 기업들이 기반 LLM을 전환하거나, 더 새롭고 (그리고 어쩌면 더 저렴한) 모델을 위해 프롬프트를 재작성하고, DeepEval 테스트가 실행되는 코드베이스와 테스트 세트를 동기화하는 것이 포함됩니다.

저희 플랫폼은 '데이터셋 에디터(dataset editor)', '회귀 포착기(regression catcher)', 그리고 '반복 인사이트(iteration insights)' 기능을 제공합니다. Confident AI의 데이터셋 에디터는 도메인 전문가가 평가를 위해 가져온(pulled) 이 데이터셋을 코드베이스와 동기화하면서 편집할 수 있도록 합니다. 이후 DeepEval이 이러한 데이터셋에 대해 평가를 완료하면, 공유 가능한 LLM 테스트/벤치마크 보고서를 생성합니다. 회귀 포착기는 새로운 구현에서 발생하는 모든 회귀를 식별하며, 저희는 이 평가 결과를 사용하여 메트릭 점수(metric scores)를 기반으로 최적의 반복을 결정합니다.

저희의 목표는 LLM 애플리케이션 벤치마킹을 매우 신뢰할 수 있게 만들어, 최고의 구현을 선택하는 것이 대시보드에서 메트릭 값을 읽는 것처럼 간단하게 만드는 것입니다. 이를 달성하기 위해서는 큐레이션된 데이터셋의 품질과 메트릭의 정확성 및 신뢰성이 가능한 한 최고 수준이어야 합니다.

이것이 현재 저희가 직면한 한계로 이어집니다. 현재 DeepEval의 주요 평가 방법은 LLM-as-a-judge입니다. 저희는 신뢰성을 개선하기 위해 GEval이나 질문-답변 생성(question-answer generation)과 같은 기술을 사용하지만, 이러한 방법들은 여전히 일관성이 부족할 수 있습니다. 도메인 전문가가 큐레이션한 고품질 데이터셋이 있음에도 불구하고, 우리의 평가 메트릭은 목표 달성에 가장 큰 장애물로 남아있습니다.

이를 해결하기 위해 최근 DeepEval에 DAG(Directed Acyclic Graph) 메트릭을 출시했습니다. 이는 의사결정 트리입니다.