NOVA: 산업용 추천 시스템의 아키텍처 진화를 위한 검증 인식형 에이전트 하네스

산업용 광고 추천 모델은 아키텍처 진화(Architecture Evolution)를 통해 지속적으로 개선됩니다. RankMixer, TokenMixer-Large, MixFormer와 같은 업그레이드는 더 나은 구조가 품질과 비즈니스 이익의 핵심 원천임을 보여줍니다. 그러나 프로덕션 환경에서 이러한 업그레이드를 개발하는 것은 전문가의 집중적인 노력이 필요하며 확장하기 어렵습니다. 기존의 자동화 방식은 불충분합니다. AutoML은 주로 하이퍼파라미터(Hyper-parameters)를 튜닝하는 반면, 실질적인 이득을 얻으려면 엄격한 제약 조건 하에서 모듈 간 변경이 필요한 경우가 많습니다. 일반적인 LLM 코딩 에이전트는 실행 가능한 코드(Runnable code)를 최적화하지만, 실행 가능한 코드가 유효한 추천 아키텍처를 의미하지는 않습니다. 후보 모델들이 로컬 테스트는 통과할 수 있지만, 성능을 저하시키는 침묵의 실패(Silent failures)를 유발할 수 있습니다.

우리는 검증 인식형 아키텍처 진화를 위한 레벨 인식 에이전트 하네스(Level-aware agent harness)인 NOVA를 제시합니다. NOVA는 아키텍처 그래디언트(Architecture gradient)를 사용합니다. 이는 SGD에서 영감을 받은 비미분 업데이트 신호(Non-differentiable update signal)로, 이전의 수정 사항, 검증 진단(Verification diagnostics), 메트릭 피드백, 그리고 궤적 메모리(Trajectory memory)를 집계하여 다음 수정을 안내합니다. 검증 캐스케이드(Verification cascade)는 구조적 의미론(Structure semantics), 로컬 실행 가능성, 오프라인 효과성, 그리고 온라인 영향을 점검하며, 유효하지 않은 후보는 조기에 차단되고 실패 패턴은 금지된 방향으로 기록됩니다. L1~L4 태스크 레벨 제어는 자동화 수준을 작업의 복잡성 및 위험도에 맞추며, 위험도가 높은 작업은 인간의 감독을 위해 Copilot으로 라우팅합니다.

산업용 광고 시스템에 배포된 NOVA는 L2 ScaleUp 및 L3 Literature-to-Production 태스크에서 가장 높은 유효 통과율(54.5% 및 60.0%)을 달성하였으며, 코딩 에이전트 베이스라인과 비교하여 침묵의 실패를 줄이고, 인간이 참여하는 시간 기준으로 Literature-to-production 사이클을 13배 이상 단축했습니다. 온라인 A/B 테스트에서 선택된 L3 후보는 세 가지 pCVR 목표에 대해 GMV를 각각 +1.25%, +1.70%, +2.02% 개선하는 동시에, pCVR 편향(Bias)을 58.8%, 66.7%, 37.3% 감소시켰습니다.