기사 유형별로 다른 모델을 선택하는 LLM 라우터(LLM router)를 구축했습니다

저는 몇 주 동안 니치(niche) 콘텐츠 사이트들의 작은 네트워크를 조용히 운영해 왔습니다. 두 곳은 실제 도메인에서 운영 중입니다:

• afixu.com - 주택 개량 및 DIY 도구 가이드
• aceju.com - 주간 AI 도구 어워드, 4가지 기준에 따라 점수를 매기는 편집 형식

니치 분야가 흥미로운 부분이 아닙니다. 파이프라인(pipeline)이 흥미로운 부분입니다.

LLM 라우터 (The LLM router)

모든 것에 하나의 모델을 사용하는 대신, 라우터(router)가 기사 유형별로 모델을 선택합니다:

• 프리미엄/상업용 콘텐츠는 더 강력한 모델로 전송됩니다.
• 대량의 정보성 초안은 더 저렴하고 빠른 모델로 전송됩니다.
• 만약 제공업체(provider)의 속도 제한(rate-limited)이 걸리면, 생성(generation)이 멈추지 않도록 캐스케이드(cascade)를 통해 다음 모델로 넘어갑니다.

QA 루프 (The QA loop)

모든 초안은 발행되기 전에 다음 과정을 거칩니다:

1. 안티-AI-말투(anti-AI-tells) 정리 (80개 이상의 정규 표현식(regex) 교체 - "delve", "leverage", "robust" 등)
2. 순위 지정 가능성(rankability) 판사: 깊이, 구체성, 의도 일치성 및 신뢰도를 8점 척도로 점수 매김
3. 구조/스키마(structure/schema) 체크 (FAQ 블록, JSON-LD, 내부 링크)

매일 실행되는 작업(daily job)은 지난 24시간 동안 게시된 모든 콘텐츠를 다시 점수 매기고, 실패한 항목은 자동으로 재생성합니다. 전체 시스템은 Next.js 16 + MDX로 구성되어 있으며, 사이트당 하나의 git 리포지토리(repo)를 사용합니다.

솔직한 목표는 광고가 아닌 게스트 링크 판매를 통해 수익을 창출하며, 약 24개월 안에 30개의 성숙한 사이트를 통해 월 3만 달러의 운영 비용(run-rate)을 달성하는 것입니다. 의도적으로 천천히 진행하고 있습니다.

관심 있는 분이 계시다면 라우터 로직(router logic)이나 QA 점수 산정(QA scoring)에 대해 더 자세히 설명해 드릴 수 있습니다.