LLMs는 더 이상 대화 트리(dialogue trees)를 넘어 현대 게임 개발의 핵심 인프라가 되고 있습니다. 장기 기억을 가진 지속적인 NPC부터 절차적 퀘스트 생성, 실시간 중재에 이르기까지, 문제는 모델의 역량 자체가 아니라 운영 비용입니다. Together AI, Fireworks AI, OpenRouter, Replicate, Anyscale와 같은 제공업체들의 토큰 기반 청구 방식은 컨텍스트 길이(context length)에 직접 비례하여 확장되므로, 에이전트적 게임 루프(agentic game loops), 긴 메모리 창(long memory windows), 다중 턴 추론(multi-turn reasoning) 등이 경제적으로 불안정합니다. 프롬프트가 주기적으로 수만 개의 토큰을 초과하고 모델이 게임 틱(game ticks) 내에서 반복적으로 호출되는 워크로드에는 요청 기반 모델(request-based model)이 더 적합합니다.

동적 NPC 행동 및 창발적 서사 (Emergent Narrative)

정적인 대화 트리는 몰입감을 깨뜨립니다. 더 나은 접근 방식은 각 NPC를 시스템 프롬프트로 성격을 정의하고, 최근 상호작용에 대한 슬라이딩 메모리 창(sliding memory window)을 가지며, 함수 호출(function calling)을 통해 게임 세계 상태에 접근하는 '상태 저장 에이전트(stateful agent)'로 취급하는 것입니다. 문제는 월드 로어(world lore), 플레이어 기록, 사용 가능한 도구를 고려할 때 단일 NPC 턴만으로도 쉽게 20,000 토큰의 컨텍스트를 포함할 수 있다는 점입니다.

토큰 기반 플랫폼에서는 이 비용이 메시지마다 곱해집니다. Oxlo.ai는 요청 기반 가격 책정(request-based pricing)을 사용합니다. 이는 프롬프트 길이에 관계없이 API 요청당 단일 고정 비용입니다.