LLM은 말을 많이 하는 경향이 있습니다. 간단한 질문을 해도 수백 단어 분량의 '상황에 따라 다르다(it depends)'는 답변을 받게 됩니다. 이는 정말 짜증납니다.
이것이 바로 우리가 Jev와 같은 결정 모델(decision models)을 단순한 작업에 선호하는 이유입니다. 사용자가 구조화된 질문을 하면 확률과 함께 타이핑된 답변을 얻을 수 있으며, 그 형태는 다음과 같습니다:
Noul. 헬리콥터는 포유류인가요? → 예, 0.99
Choice. 헬리콥터가 속하는 동물군은 무엇인가요? → 포유류(Mammal), 0.99
Score. 헬리콥터의 현재 보존 상태는 무엇인가요? → 관심 필요(Least Concern), 0.77
반면, LLM은 자유 형식적이고 과도하게 자신감 넘치는 산문을 반환하는 반면, 결정 모델은 모델의 불확실성(model uncertainty)을 명시적으로 보여줍니다. 보정된 모델(calibrated model)에서 점수가 0.8인 답변은 약 80%의 확률로 정확합니다. 이는 0.5라는 점수는 동전 던지기와 같다는 의미입니다.
저희는 PostHog에서 결정 모델을 실험해 왔으며, 여러 사용 사례가 실제 서비스에 적용되었습니다. 여기에는 지금까지 우리가 결정 모델을 사용하는 것에 대해 배운 모든 것(언제 사용할지, 어떻게 사용할지, 그리고 피해야 할 실수)이 담겨 있습니다.
1. 비싼 LLM 호출을 게이트하는 데 사용하세요
결정 모델은 최신 모델(frontier models)보다 최대 444.6배 저렴하고 193.6배 빠르기 때문에, 아예 값비싼 LLM 호출이 필요한지 여부를 확인하는 용도로 사용할 수 있습니다.
저희는 이 기능을 Replay Vision이라는 제품의 파이프라인에서 수행합니다. 이 제품은 사용자 세션 녹화본을 모니터링하고 요약해 줍니다. 작동 방식은 다음과 같습니다:
각 세션 요약본은 결정 모델로부터 2개의 예/아니오 질문을 거칩니다. 이처럼 좁은(narrow) 질문들을 사용하면, 단일 질문이 만들어내는 오탐지 비율을 약 10분의 1로 줄일 수 있습니다.
- “이것에 실제 인물의 이름이 언급되었는가?”
- “연락처 정보나 ID가 포함되어 있는가?”
만약 둘 중 어느 하나라도 점수가 0.4 이상이라면, Gemini가 개인 정보를 제거하여 요약본을 다시 작성하고 이를 재검사합니다.
그렇지 않다면 깨끗한 상태로 게이트를 통과합니다. 실제 서비스에서는 98.7%의 세션이 LLM 호출 자체를 건너뜁니다.
결정 모델이 없었다면, 저희는 놓치는 것이 있을까 봐 프롬프트와 정규 표현식(regexes)을 계속 만지작거리거나, 필요한 1%를 잡아내기 위해 모든 요약본을 Gemini로 보내야 했을 것입니다.
하지만 실수할 수 있다는 것을 기억하세요
확률 점수 0.85는 여전히 1,000건 확인당 약 150개의 오답을 의미하므로, 거짓 양성(false positives)과 거짓 음성(false negatives)에 대비해야 합니다.
PII 예시에서 거짓 양성은 추가적인 LLM 호출 비용만 발생시키지만, 거짓 음성은 개인 데이터를 깨끗한 것으로 저장합니다. 이것이 우리가 임계값(threshold)을 0.4로 낮게 설정한 이유입니다.
거짓 양성이 더 비용이 많이 드는 실수인 경우, 더 높은 임계값을 사용하세요. 예를 들어, 우리는 최근 PostHog Slack 봇을 업데이트하여 태그되지 않고도 질문에 답할 수 있게 했습니다. 성가시지 않도록 하기 위해, 이 봇은 채널의 모든 메시지를 확인하여 (1) 정보 요청인지 여부와 (2) PostHog가 답변할 수 있는지 여부를 확인합니다. 두 가지 모두에서 0.85 이상을 통과하는 메시지만 처리됩니다.
핵심 요약: 비싼 LLM 호출이 발생하기 전에 결정 모델(decision models)을 사용하여 작업을 필터링하고, 어떤 실수가 더 많은 비용을 초래하는지에 따라 임계값을 설정하세요.
2. 모델 라우터로 사용하기
우리의 PostHog Slack 봇도 결정 모델을 모델 라우터(model router)로 사용합니다.
봇이 태그되면, 먼저 메시지가 특정 모델을 요청했는지 확인합니다. 그렇지 않은 경우, 하나의 선택(choice) 질문이 목록에서 선택합니다:
“가장 적은 비용으로 첫 시도에 작업을 올바르게 완료할 가능성이 가장 높은 옵션을 선택하세요. 실패한 실행은 더 스마트한 옵션보다 비용이 많이 듭니다.”
목록의 각 옵션에는 해당 모델이 어떤 용도에 적합한지에 대한 짧은 설명이 붙어 있습니다. GPT Luna는 “가볍고 매우 저렴한 모델입니다. 짧은 답변, 조회(lookups), 요약 및 아주 작은 편집에 좋습니다.”라고 설명되어 있습니다. 그런 다음 결정 모델은 요청을 각 옵션의 텍스트와 비교하여 점수를 매깁니다.
하지만 상호 교환 가능하다고 가정하지 마세요
다양한 작업, 모델, 제공업체는 모두 다른 임계값을 가지고 있습니다.
우리는 에러 추적(Error Tracking)에서 유사한 로그를 자동 병합하는 데 이들을 사용해 실험하던 중, 동일 모델의 v1과 v2 사이에서 임계값이 변경된다는 것을 발견했습니다. 따라서 PostHog 프로젝트별로 해당 임계값을 구성 가능하게 만들고, 수동으로 레이블링된 데이터를 기반으로 재보정하는 동안 심사관(judge)을 섀도우 모드(shadow mode)로 유지해야 했습니다.
이것이 저희 성장팀의 Fernando가 초기에 모델에 구애받지 않는 인터페이스(model-agnostic interface)를 추진했던 이유 중 하나입니다. 현재는 자체 호스팅 모델을 포함하여 모델을 교체하고 테스트할 수 있는 내부 AI 게이트웨이를 갖추고 있습니다.
요약: choice 질문을 사용하여 자유 형식의 LLM 요청을 처리할 수 있는 가장 저렴한 모델로 라우팅하세요. 임계값(thresholds)은 상속되지 않으므로, 작업별 및 모델별로 설정하는 것에 유의하십시오.
3. 표면적(face-value) 확인에 사용하기
질문이 더 많은 맥락이나 추론의 사슬을 요구하는 경우, LLM을 사용하는 것이 좋습니다. 하지만 입력 데이터를 평탄화하거나(flatten), 사전 처리하여 표면적으로 확인할 수 있는 방법이 있다면 여전히 의사 결정 모델(decision model)을 사용할 수 있습니다.
Replay Vision에서 사용자가 "온보딩 마찰(onboarding friction)"과 같은 주제를 검색할 때, 임베딩 거리(embedding distance)가 작동하는 방식 때문에 해당 쿼리가 몇 가지 예상치 못한 결과를 반환할 수 있습니다.
의사 결정 모델은 "사용자의 검색 쿼리와 일치하는 요약을 포함하는 상위 10개 세션을 순위화할 수" 없습니다. 너무 복잡합니다.
대신, 우리는 먼저 임베딩을 사용하여 의사 결정 모델에 전달할 세션 녹화본의 초기 목록을 도출합니다. 그런 다음, 의사 결정 모델에게 남겨진 유일한 작업은 목록의 각 결과가 사용자의 원래 검색어와 얼마나 가깝게 일치하는지 확인하는 것입니다: "이 요약이 검색이 찾는 것과 일치하는 세션을 설명합니까?"
그 후 결과는 그 확률에 의해 재순위화됩니다. 20개의 테스트 쿼리에서, 이는 순위 품질을 약 25% 향상시켰습니다.
하지만 다단계 추론은 피하세요
저희는 이전에 의사 결정 모델을 사용하여 다단계 추론(multi-step reasoning)을 시도한 적이 있습니다. Replay Vision에 임베딩이 준비되기 전에, 저희는 사람이 시간을 들여 볼 만한 세션의 "하이라이트" 피드를 순위화하려고 했습니다. 질문은 다음과 같았습니다:
이 세션을 보는 것이 가치가 있는가?
그렇다면 왜 가치가 있는가? (예: “화면 오류,” “느리거나 멈춤,” “사용자 혼란,” “사용자가 포기함” 등의 선택지 포함)
이 두 가지 질문을 순서대로 처리하는 과정은 대규모 요청(각 최대 32 세션 및 12-38k 토큰)을 보내는 시간 단위 작업이 필요했으며, 이는 모델 서버를 과부하 상태로 만들고 다른 제품의 호출 기능을 몇 시간 동안 차단했습니다.
따라서 기술적으로는 의사결정 모델(decision models)을 다단계 판단에 연결할 수 있지만, 운영상 가치가 없습니다. 이 작업은 LLM에게 맡기거나, 위 임베딩 검색 예시처럼 의사결정 모델이 데이터를 보기 전에 무거운 작업을 미리 처리하는 것이 좋습니다.
핵심 요약: 의사결정 모델은 눈앞의 것을 단일 패스(single pass)로 판단합니다. 다단계 추론은 LLM에게 맡기세요.
4. 과도한 사양의 LLM 대신 사용하기
의사결정 모델은 LLM이 지나치게 강력하거나 (overkill), 너무 느리거나, 비용이 많이 드는 모든 작업에 활용될 수 있습니다.
한 가지 예시는 SQL 쿼리에 대한 더 스마트한 차트 선택기입니다. PostHog은 과거에 다음과 같은 결정론적 규칙(deterministic rules)을 사용하여 시각화를 선택했습니다:
- 날짜 열, 숫자 열 및 여러 행 → 라인 차트
- 텍스트 열 두 개 이상 + 숫자열 → 히트맵
- 숫자 열만 존재 → 막대 차트
이제 의사결정 모델은 조직이 옵트인(opts in)한 경우 SQL 자체와 결과의 처음 세 행을 모두 검토하여 더 나은 차트를 제안합니다.
아래 예시는 브라우저별 페이지뷰에 대한 간단한 쿼리를 기반으로 합니다. 기존 규칙에서는 기본적인 집계 라인 차트를 선택했지만, Jev를 사용했을 때는 브라우저별로 분할된 막대 차트가 선택되었습니다:
하지만 개방형 작업은 LLM에게 맡기세요
더 개방적인(open-ended) 모든 작업은 여전히 LLM으로 보내야 합니다.
그럼에도 불구하고, 궁금증을 해소하기 위해 저희는 Jev를 사용하여 내부 PR 검토 에이전트의 결과를 순위 매기는 실험을 했습니다. 이 과정에는 변경 사항이 개발자의 주의를 끌 만큼 가치가 있는지 대략적으로 묻는 다섯 개의 질문이 사용되었습니다. 그 결과는 AUC가 0.52로 결정적이지 않았습니다.
만약 Jev가 LLM이었다면, 저희는 더 많은 컨텍스트(context)를 보내 이 문제를 해결했을 것입니다. 하지만 Jev는 대규모 요청을 처리할 수 없습니다. 또한 장문 컨텍스트 모드도 느리고 정확도가 떨어집니다. 일반적인 의사결정 모델은 이러한 종류의 추론을 위해 설계되지 않았습니다.
하지만 Jeeves와 같은 하이브리드 의사결정 모델(Hybrid decision models)이 이 격차를 해소하는 데 도움을 줄 수 있습니다. 사내 AI 연구팀에서 개발한 Jeeves는 불확실할 때 결정하기 전에 추론하는 의사결정 모델입니다.
현재 PostHog에서 모델명을 지정하지 않는 모든 의사결정 호출에 대해 기본값으로 사용되고 있으며, Kev와 같은 다른 개발자들도 유사한 변형을 가지고 있습니다.
핵심 요약: 언어 모델에게는 너무 단순하지만 정규 표현식(regex)으로는 너무 모호하여 평가자로 의사결정 모델을 사용하는 것이 좋습니다. 더 복잡한 것은 여전히 의사결정 모델에 맡기기에는 너무 많습니다. 적어도 지금은 그렇습니다.
이 글은 2개월 안에 쓸모없어질 것으로 예상하는 Jina Yoon의 글입니다.
📚 표면적인 읽을거리 (Good reads at face-value)
PostHog AI에서 사람들이 프롬프팅하는 내용 – Cleo Lant
소프트웨어 뒤에 있는 사람 – Karri Saarinen
우리가 워크하우스 제품을 DuckDB에서 옮기는 이유 – Benjamin Knofe-Vider
수면 프레임워크: 지속적 학습(continual learning)에서 LLM이 지식을 유지하는 새로운 방법 – Ali Behrouz, Vahab Mirrokni
사전 계산을 사용하여 실험 쿼리를 4배 빠르게 만든 방법 – Juraj Majerik
💼 여기도 좋아할 만한 것, 0.99
Jev는 요청당 기본적으로 64k 토큰과 질문당 32k 토큰을 사용합니다. TypeSafe가 두 값을 모두 262k로 높이는 옵트인 헤더를 추가했음에도 불구하고, 그들은 장문 컨텍스트 모드가 더 느리고 정확도가 떨어진다고 경고하고 있습니다. 출처: TypeSafe Docs