FERA: 대규모 언어 모델을 위한 불확실성 인식 연합 추론

요약

본 논문은 중앙 집중화가 어려운 분산된 사적 데이터를 활용하여 대규모 언어 모델(LLMs)의 추론 능력을 향상시키는 '불확실성 인식 연합 추론(FERA)' 프레임워크를 제안합니다. FERA는 서버가 클라이언트의 원시 데이터에 접근할 수 없는 환경에서, 반복적인 서버-클라이언트 공동 정제 과정을 통해 다단계 추론을 개선합니다. 핵심은 불확실성을 측정하고 이를 기반으로 신뢰도를 가중치화하여 이질적인 클라이언트 간의 충돌을 해결하는 '불확실성 인식 자체 비판 집계(UA-SCA)' 메커니즘입니다.

핵심 포인트

• FERA는 중앙 집중식 데이터 공유 없이 분산된 사적 데이터를 활용하는 연합 추론 기법이다.
• 반복적인 서버-클라이언트 공동 정제 과정을 통해 다단계 추론을 점진적으로 개선한다.
• 불확실성 인식 자체 비판 집계(UA-SCA)를 사용하여 클라이언트 간의 충돌을 해결하고 신뢰도를 가중치화한다.
• FERA는 이론적 수렴 보장을 제공하며, 다양한 벤치마크에서 기존 모델들을 능가하는 성능을 보인다.