지난 1년 동안 LLM (Large Language Models)은 챗봇부터 AI 어시스턴트에 이르기까지 우리 앱의 중추가 되었습니다. 트렌드는 단순합니다. 기능이 많아질수록 프롬프트(Prompt)도 커진다는 것입니다. 이는 AI 비용을 확인하기 전까지는 무해하게 들립니다.

개인화된 뉴스, 시맨틱 검색(Semantic Search), 실시간 해설을 처리하는 스포츠 플랫폼인 Fanziz를 위해 AI 기능을 구축하는 동안, 우리는 정확히 이 벽에 부딪혔습니다. 프롬프트가 커진다는 것은 지연 시간(Latency)과 추론(Inference) 비용의 급증을 의미했습니다.

모델을 업그레이드하는 대신, 우리는 다음과 같은 질문을 던졌습니다: 더 많은 데이터를 보내지 않고 어떻게 LLM을 더 똑똑하게 만들 수 있을까?
우리 파이프라인을 구한 6가지 엔지니어링 변화를 소개합니다.

1. 컨텍스트를 쏟아붓지 말고 검색하세요 (Retrieve Context, Don't Dump It)
프롬프트에 수십 개의 기사나 과거 기록을 보내는 것은 초보적인 실수입니다. 우리는 RAG (Retrieval-Augmented Generation)를 구현했습니다. 기사들은 벡터 데이터베이스(Vector Database)에 임베딩(Embedding)되며, 요청 시 가장 관련성이 높은 스니펫(Snippet)만 가져옵니다.
더 작은 프롬프트 = 더 빠른 추론, 더 나은 응답, 그리고 더 낮은 비용을 의미합니다.

2. 정적 컨텍스트를 다시 생성하지 마세요 (Stop Regenerating Static Context)
우리는 배경 지침, 플랫폼 컨텍스트, 참조 데이터가 매 요청마다 다시 구축되고 있다는 점을 발견했습니다.
• 해결책: 캐싱된 컨텍스트(Cached Context) 전략. 정적 블록을 한 번 생성한 후 여러 요청에서 재사용하여 토큰 사용량과 응답 시간을 대폭 절감했습니다.

3. 복잡도에 맞춰 프롬프팅 전략을 맞추세요 (Match Prompting Strategy to Complexity)
모든 작업에 예시가 필요한 것은 아닙니다. 우리는 무조건 무거운 Few-shot 프롬프트를 사용하는 것을 중단하고, 작업에 맞춰 전략을 맞춤화했습니다:
• 단순 변환: Zero-shot
• 중간 정도의 추론: One-shot
• 복잡한 워크플로우: Few-shot

4. 시스템 프롬프트를 모듈화하세요 (Modularize System Prompts)
기능이 성장함에 따라 우리의 시스템 프롬프트는 거대하고 유지 관리하기 어려운 모놀리스(Monolith)가 되었습니다. 우리는 프롬프트를 가볍고, 깨끗하며, 예측 가능하게 유지하기 위해 책임을 모듈형 블록(안전성, 포맷팅, 도메인 규칙, 출력 스타일)으로 분리했습니다.

5. 모든 요청에 LLM이 필요한 것은 아닙니다
LLM이 모든 것을 해결해서는 안 됩니다. 의도 탐지 (Intent detection), 언어 인식 (Language recognition), 또는 단순 분류 (Classification)를 위해서는 전통적이고 가벼운 NLP 모델로 라우팅합니다.
• 가장 뛰어난 AI 아키텍처는 작업에 적합한 도구를 사용합니다.

6. 토큰을 CPU처럼 측정하세요
우리는 CPU, 메모리, 지연 시간 (Latency)을 철저하게 추적합니다. 그렇다면 토큰은 왜 안 될까요? 입력/출력 토큰, 요청당 비용 (Cost-per-request), 그리고 캐시 히트율 (Cache hit rates)을 모니터링하기 시작하자 최적화는 자연스러운 습관이 되었습니다.

마치며

이러한 기술들은 오늘날 Fanziz 내부의 실시간 경험을 뒷받침하며, 훌륭한 AI 제품을 만들기 위해 반드시 가장 큰 모델이 필요한 것은 아니라는 점을 증명합니다. 여러분에게 필요한 것은 단지 가장 효율적인 시스템입니다.

다음에 무언가를 구축할 때, 단순히 "어떤 모델을 사용해야 할까?"라고 묻지 마세요.
"이 요청에 정말 LLM이 필요한가?"라고 물으십시오.