우리는 컨설팅 제품을 구축합니다. API도, 챗봇도 아닌—비즈니스 문제를 설명하면, 81초 후에 구조화되고 CEO가 바로 사용할 수 있는 문서가 반환되는 것입니다.
이 숫자는 마케팅에 의한 것이 아니라 의도적인 측정에서 나온 것입니다. 지난밤 저는 가능한 가장 작은 요청을 파이프라인으로 실행하고 처음부터 끝까지 시간을 측정했습니다:
POST /v1/consulting/tasks { query: "Say hi in one sentence.", mode: consulting_report }
→ 11s running
→ 21s running
...
사소한 프롬프트임에도 불구하고 여전히 81초가 걸렸습니다. 이것이 다단계(multi-stage) 파이프라인의 정직한 비용입니다: 질문을 재구성하고, 하위 작업으로 분해하며, 각 하위 작업을 다른 모델로 라우팅하고, 결과를 합성한 다음, 보고서를 조립하는 과정입니다. 자신의 LLM 제품이 전략적인(strategic) 질문에 2초 만에 답한다고 말하는 사람은 캐싱을 하고 있거나, 단일 모델의 의식 흐름(stream-of-consciousness)을 반환하며 그것을 결과물이라고 부르는 사람 중 하나일 뿐입니다.
결과물이 구성되는 내용
출력물은 단락이 아닙니다. 고정된 골격을 가진 문서입니다:
- 경영진 요약(Executive summary) — 회의에서 소리 내어 읽을 수 있는 형태의 답변
- 배경 및 목표(Context and goals) — 우리가 문제를 무엇으로 이해했는지
- 주요 발견 사항(Key findings) — 우리를 놀라게 했거나, 답변에 제약을 가하는 부분들
- 권장 설계(Recommended design) — 옵션과 트레이드오프가 포함된 실제 제안
- 위험 및 완화 방안(Risks and mitigations) — 이것이 실패하게 만들 수 있는 것들과 우리가 취할 조치들
흥미로운 엔지니어링 문제는 텍스트를 생성하는 것이 아닙니다. 각 섹션이 서로 다른 모델과 다른 컨텍스트 창(context window)에 의해 생성되었을 때, 다섯 개의 섹션이 서로 일치하도록 만드는 것입니다. 대부분의 81초가 바로 여기에 사용되며, 이것이 단일 모델 답변이 유창하지만 다른 섹션과 비교하면 일관성이 없는 것처럼 보이는 이유입니다.
아무도 보여주지 않는 지루한 부분들
파이프라인을 배포할 가치가 있기 전에 우리가 고쳐야 했던 세 가지 사항:
1. 작동하지 않는 상위 시스템(upstream)이 전체 실행을 망가뜨려서는 안 됩니다. 이전에는 라우터가 도메인별 고정 목록에서 모델을 선택했습니다. 특정 제공업체의 계정 크레딧이 소진되면 모든 요청이 HTTP 403 사용자 할당량 부족으로 실패했고, 이 오류는 200 응답 내부의 content 문자열로 나타났습니다. 이제는 실패가 실패로 감지되며, 실행에 대한 비용 청구가 이루어지지 않고, 라우터는 실제로 정상인 다른 제공업체로 장애 조치(failover)합니다.
2. 추론 모델은 그 사고 과정을 누설합니다. 일부 상위 시스템은 전체 답변을 reasoning_content 필드에 스트리밍하고 content를 비워둡니다. 저희의 첫 번째 수정 사항은 클라이언트가 무언가 볼 수 있도록 이를 content로 복사하는 것이었고, 두 번째 수정 사항은 실제 콘텐츠가 도착하지 않을 경우에만 이를 방출하도록 버퍼링하는 것이었습니다. 스트리밍은 답변을 제공해야 하며, 리허설 과정을 보여주어서는 안 됩니다.
3. 절대 전달할 수 없는 채널을 약속해서는 안 됩니다. 제품 페이지에는 예전에 “남겨두시면 보고서를 이메일로 보내드리겠습니다”라고 적혀 있었습니다. 어느 날 저희의 트랜잭션 이메일 할당량이 소진되면서, 페이지를 떠난다는 것은 보고서를 잃는 것을 의미했습니다. 이제 문구는 보고서는 페이지에 남아 있으며, 이메일은 가능할 경우 추가 옵션이라고 되어 있습니다. 두 단어의 변화로 하나의 깨진 약속을 피했습니다.
이것이 아닌 것
이는 귀하의 산업 지식을 갖춘 컨설턴트의 대체재가 아닙니다. 이는 그를 고용하기 전에 하는 일입니다. 즉, 비싼 대화가 백지 상태가 아니라 초안부터 시작할 수 있도록 1분 만에 구조화된 초기 입장을 얻는 것입니다.
그리고 이 비용은 리테이너 시간(retainer hours)이 아닌 토큰으로 청구됩니다. 이것이 바로 저희 시스템이 좌석별 구독 방식이 아닌 토큰 측정형 파이프라인에서 작동하는 이유입니다.
출력물의 형태를 확인하고 싶다면, 실제로 가지고 있는 문제를 설명해 주세요. 보고서는 보통 2분 이내에 페이지에 나타납니다.