자동화된 멀티모달 비전 감사: 프레임별 캐릭터 일관성 평가

1. 핵심 병목 지점 (The Core Bottleneck)

생성형 비디오 파이프라인은 특정하고 측정 가능한 방식으로 실패합니다: 바로 '캐릭터 드리프트(character drift)'입니다. 확산 모델(diffusion model)은 t=0에서 인식 가능한 얼굴을 가진 프레임을 생성하지만, t=240에 이르면 턱선이 무뎌지고, 눈 색깔이 변하며, 피부 질감이 기준점을 잃습니다. 출력물은 기술적으로 유효한 픽셀이지만, 주인공은 낯선 사람이 되어버린 것입니다.

병목 지점은 샘플러(sampler)가 아닙니다. 이는 프레임 합성(frame synthesis)과 프레임 스티칭(frame stitching) 사이에 존재하는 검증 계층(verification layer)의 부재입니다. 대부분의 파이프라인은 출력물을 무분별하게 연결한 다음, 인간 리뷰어가 회귀 현상(regression)을 포착하기를 기대합니다. 이러한 워크플로우는 확장성이 없습니다. 우리는 최종 합성 단계로 들어가기 전에 모든 후보 프레임을 기준 식별자 벡터(reference identity vector)와 비교하여 점수를 매기는 자동화된 멀티모달 비전 감사 시스템이 필요합니다.

본 글에서는 Shadow Social에서 이 문제, 즉 확산 루프(diffusion loop)와 동기적으로 실행되는 지각적 검사(perceptual checks), 임베딩 비교(embedding comparisons), 아티팩트 분류기(artifact classifiers)의 연쇄 구조를 구현한 아키텍처에 대해 설명합니다.

2. 수학적 공식화 및 아키텍처 (Mathematical Formulation & Architecture)

감사 파이프라인은 세 가지 직교 신호(orthogonal signals): 식별자 유사성(identity similarity), 색채 충실도(chromatic fidelity), 구조적 무결성(structural integrity)을 기반으로 작동합니다. 각 신호는 스칼라 점수를 생성하며, 가중 합계가 프레임 통과 여부를 결정합니다.

식별자 유사성 (Identity Similarity)

우리는 고정된 ArcFace 백본(backbone)을 사용하여 각 후보 프레임에서 512차원 얼굴 임베딩을 추출합니다. 기준 임베딩 r은 사용자의 승인된 식별자 기준점으로부터 한 번 계산됩니다. 유사성 점수는 정규화 코사인 거리(normalised cosine distance)입니다:

S_id(f) = (r · f) / (||r|| · ||f||)

프레임이 통과하려면 S_id(f) >= 0.82여야 합니다. 이 임계값보다 낮으면 프레임은 거부되고 부정적 가이드 프롬프트(negative guidance prompts)를 사용하여 재합성됩니다.

색채 충실도 (Chromatic Fidelity) (DeltaE)

색상 드리프트는 CIE76 DeltaE 공식을 사용하여 CIELAB 공간에서 측정됩니다:

DeltaE(L1, L2) = sqrt((L1-L2)^2 + (a1-a2)^2 + (b1-b2)^2)

AB 공간에서 측정됩니다:

DeltaE(L1, L2) = sqrt((L1-L2)^2 + (a1-a2)^2 + (b1-b2)^2)

64개의 패치를 얼굴 영역에 걸쳐 균일하게 샘플링하고 기준 프레임과 비교하여 평균 DeltaE를 계산합니다. 2.0 미만의 평균 DeltaE는 지각적 색상 고정(perceptual colour lock)을 나타냅니다.

구조적 무결성 (Structural Integrity)

경량 CNN 분류기(lightweight CNN classifier)가 네 가지 아티팩트 클래스, 즉 피부 가소성(skin plasticity), 모션 블러(motion blur), 엣지 에일리어싱(edge aliasing), 그리고 해부학적 변형(anatomy deformation)을 플래그 지정합니다. 이 분류기는 확률 벡터 p = [p_skin, p_blur, p_alias, p_anatomy]를 출력합니다. 어떤 구성 요소라도 0.15를 초과하면 해당 프레임은 실패 처리됩니다.

합성 점수 (Composite Score)

S_total = 0.50 * S_id + 0.30 * (1 - DeltaE/10) + 0.20 * (1 - max(p))

TypeScript 구현

감사 모듈은 contentFitAdapter.ts에 위치하며, 모든 확산(diffusion) 패스 후에 imageGen.ts에 의해 호출됩니다:

// contentFitAdapter.ts
import { FaceEmbedding } from './arcface';
import { DeltaE76 } from './colourMetrics';
...

// imageGen.ts (발췌)
import { auditFrame } from './contentFitAdapter';

...

파이프라인 다이어그램 (Pipeline Diagram)

+, , , , , , , , +      +, , , , , , , , , -+      +, , , , , , , , , -+
| Diffusion      | , -> | Vision Audit      | , -> | Frame Buffer      |
| Sampler        |      | (contentFitAdapter)|      | (stitch queue)    |
...

3. 실시간 인프라 및 원격 측정 (Real-time Infrastructure & Telemetry)

감사 연쇄(audit cascade)는 확산 루프와 동기적으로 실행되므로, 지연 시간(latency)이 매우 중요합니다. 저희는 파이프라인을 효율적으로 유지하기 위해 세 가지 인프라 패턴을 사용합니다.

온디맨드 PostgreSQL 락 (On-Demand PostgreSQL Locks)

각 생성 작업은 사용자 세션 ID에 대해 행 수준의 자문 잠금(row-level advisory lock)을 획득합니다. 이는 다른 사용자를 차단하지 않으면서 동일한 신원 앵커(identity anchor)에 대한 동시 편집을 직렬화합니다. 이 잠금은 감사 기간 동안만 유지된 후 해제됩니다. 잠금이 일시적(ephemeral)이기 때문에 유휴 RAM 소비는 사실상 0입니다.

SELECT pg_advisory_xact_lock(hashtext($1));

서버 전송 이벤트 (Server-Sent Events)를 이용한 진행률 스트리밍

서버 전송 이벤트 (Server-Sent Events)를 이용한 진행률 스트리밍

브라우저 스튜디오는 SSE 채널을 통해 감사 결과를 받습니다. 각 프레임은 합성 점수(composite score), 재시도 횟수(retry count), 그리고 통과/실패 상태(pass/fail status)를 포함하는 이벤트를 방출합니다. 사용자는 실시간으로 감사가 진행되는 것을 보게 되어 자동화에 대한 신뢰가 구축됩니다.

ev: frame_audit
data: {"frame": 42, "score": 0.91, "deltaE": 1.4, "passed": true}

콜드 스타트 최적화 (Cold-Start Optimisation)

ArcFace 백본(backbone)과 아티팩트 CNN은 워커 프로세스당 한 번 로드되어 따뜻하게 유지됩니다. 콜드 스타트 실행 지연 시간(latency)은 1.8초이며, 이는 모델 역직렬화(model deserialisation)에 의해 지배됩니다. 이후 프레임들은 400ms 이내에 처리됩니다.

4. 경험적 성능 벤치마크 (Empirical Performance Benchmarks)

저희는 50개의 프로덕션 [데이터셋]을 사용하여 총 10,000 프레임 감사를 실행했습니다.

-, -

5. 실시간 아키텍처 평가 및 직접 체험 (Live Architecture Evaluation & Try It Yourself)

로컬 종속성(local dependencies) 설치 없이 이 전체 아키텍처를 벤치마크할 수 있습니다. shadowsocial.io/signup에서 실시간 대화형 다크 스튜디오를 탐색해 보세요.

특별 개발자 출시 혜택: 가입 시 쿠폰 코드 **LAUNCH30**을 적용하면, 3개월 동안 모든 구독 플랜에 대해 30% 할인을 받고 즉시 워크스페이스 원장(ledger)에 50개의 무료 고화질 생성 크레딧을 받을 수 있습니다.

Shadow(https://shadowsocial.io)를 통해 자율적으로 작성됨