스마트폰 분산 AI 기반 「ArcAsha-OS」 개발에서는 프롬프트의 성질(수학, 코딩 등)에 따라 최적의 단말 노드(Expert)로 처리를 할당하는 **Adaptive Router (적응형 라우터)**를 검증하고 있습니다.

지난번에는 「FP32와 FP16의 반올림 오차로 인한 출력 분기(EXP-0001)」를 다루었으나, 이번에는 라우터의 평가 로직을 동적 업데이트(Adaptive Update)로 설정했을 때 마주한, **매우 흥미로운 「능력 역전 현상 (Score Reversal)」**과 그 극복 단계(EXP-0002D / EXP-0002D.1)에 대해 공유합니다.

노드의 처리 능력(Capability)을 정적인 초기값에서 실제 추론 결과에 기반하여 실시간으로 업데이트(Adaptive Update)하는 실험(EXP-0002D)을 수행했을 때, 다음과 같은 거동이 관측되었습니다.

[초기 상태]
- Math Expert 노드 : Math 스코어 0.94 (우수)
- Coding Expert 노드 : Math 스코어 0.65 (보통)
...

수학을 잘해야 할 「Math Expert」의 평가가 일시적으로 하락하여, 수학 태스크임에도 불구하고 「Coding Expert」가 계속해서 선택되는 본말전도된 상태에 빠지고 말았습니다.

언뜻 보기에는 「라우터 알고리즘의 버그」처럼 보이지만, 로그를 상세히 분석한 결과 라우터 자체는 스코어에 따라 100% 올바르게 행동하고 있음을 알 수 있었습니다.

진짜 문제는 **Capability Update (능력 평가 업데이트 식)**에 있었습니다.

기존의 단순 이동 평균(SMA 고정 가중치 업데이트 $\alpha = 0.3$ 등)에서는, 시도 횟수(샘플 수 $n$)가 매우 적은 단계에서 단 한 번의 실패가 발생하면 평가값이 급락하게 됩니다.

즉, 라우터가 잘못된 것이 아니라, **「확신도가 낮은 (샘플이 적은) 평가값을 무조건적으로 믿어버리는 평가 함수」**가 근본 원인이었습니다.

이 문제를 해결하기 위해 시도 횟수 $n$에 따라 평가값의 「확신도 (Confidence)」를 동적으로 가중치 부여하는 베이즈 업데이트(Bayesian Update) 접근 방식(EXP-0002D.1)을 도입했습니다.

시도 횟수 $n$에 기반하여 확신도 $C(n)$을 다음과 같이 정의합니다.

$$C(n) = 1 - \exp\left(-\frac{n}{\text{scale}}\right)$$

• $n = 0$ (미시도)인 경우, $C(0) = 0$이 되어 사전 분포(초기 설정된 능력치)를 100% 신뢰합니다.
• 시도 횟수 $n$이 증가함에 따라 $C(n)$은 $1.0$에 가까워지며, 실측 퍼포먼스(Measured Performance)의 반영도가 높아집니다.

라우터는 가공되지 않은 평가값 $\mu$가 아니라, 확신도를 곱한 「유효 스코어 (Effective Score)」를 참조하여 라우팅을 수행합니다.

$$\text{Effective Score} = \mu \times C(n)$$

이를 통해 아직 시도 횟수가 적어 신뢰성이 낮은 노드가 단 한 번의 우연한 실패로 인해 부당하게 평가가 낮아져 영구적으로 선택되지 못하는 사태를 방지할 수 있습니다.

이 Confidence-Aware Bayesian Weighting을 포함하여 재검증을 수행한 결과, 다음과 같은 성과를 얻었습니다.

능력 역전 현상 (Score Reversal) 발생률: 0건

• 샘플 수가 적은 초기 단계에서의 급격한 스코어 격차가 억제되어, 태스크에 적합한 노드로 안정적으로 라우팅됨을 확인.

※ 과학적으로 엄밀하게 표현하자면, "베이즈 도입으로 만병통치했다"기보다는 **"이번 실험 조건에서 확신도 가중치 베이즈 업데이트를 채택함으로써 역전 현상이 관측되지 않게 되었다"**는 결론이 됩니다.

「평가 함수의 정밀도」가 적응형 AI의 한계를 결정한다

적응형 라우팅에서 라우터의 선택 품질은 「태스크 평가 함수 (Task Evaluator)의 충실도」에 의해 직접적으로 제약받습니다.

시도 횟수 (데이터 양)의 확신도를 모델링하는 것의 중요성

단순한 평균값 업데이트가 아니라, "그 평가값이 얼마나 신뢰할 수 있는가"를 수학적으로 고려하게 하는 것이 견고한 엣지 분산 AI 구축에 필수적이었습니다.

계속해서 스마트폰 분산 AI 기반 「ArcAsha-OS」의 개발 로그를 공개하겠습니다!

🌟
GitHub Repository: ootaniryou-sudo/ArcAsha-os