Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2000건필터 해제
분산 최적화 (Distributed Optimization)에서의 오차 피드백 (Error Feedback) 알고리즘에 관한 엄밀한 이론
분산 학습 시 발생하는 통신 비용 문제를 해결하기 위한 오차 피드백(Error Feedback) 알고리즘의 수렴성을 엄밀하게 분석한 연구입니다. 클래식 EF와 EF21 방식에 대해 최적의 스텝 사이즈와 리아푸노프 함수를 구축하여 이론적 성능을 증명했습니다.
물리 정보 신경망 (PINN)을 통한 일반 매니폴드 상의 리만 확산 모델 (Riemannian Diffusion Models)
리만 확산 모델의 학습을 위해 물리 정보 신경망(PINN)을 활용하여 매니폴드 열 커널을 근사하는 새로운 방법론을 제안합니다. 닫힌 형태의 열 커널이 없는 복잡한 매니폴드에서도 PINN을 통해 열 방정식을 직접 풀어 효율적인 샘플링과 점수 매칭을 가능하게 합니다.
FCR 시장에서의 입찰 학습: 두 세계의 장점을 결합한 접근 방식
유럽 FCR 시장의 불완전한 피드백 환경에서 입찰 효율을 높이기 위한 온라인 학습 알고리즘을 제안합니다. 조합론적 세미 밴딧 알고리즘을 통해 확률적 및 적대적 환경 모두에서 낮은 후회(regret)를 달성함을 입증했습니다.
재구성을 통한 기억하기: 비디오 스트림에서의 테스트 시간 훈련을 이용한 도메인 점진적 학습 (Domain Incremental Learning)
비디오 스트림의 도메인 변화에 대응하기 위해 치명적 망각을 활용하는 새로운 도메인 점진적 학습 방식을 제안합니다. MAE 헤드와 도메인별 LoRA 어댑터를 결합하여, 테스트 시간 훈련을 통해 현재 입력에 가장 적합한 도메인을 식별하고 기억해냅니다.
Subspace-Decomposed JEPAs: 잠재 세계 모델(Latent World Models)에서 진행 과정(Progression)과
SD-JEPA는 JEPA 잠재 공간을 진행(progression)과 콘텐츠(content)를 담당하는 두 개의 직교하는 부분 공간으로 분리하는 새로운 구조를 제안합니다. 이를 통해 잠재 세계 모델 내에서 작업의 진행 과정을 명확히 인코딩하며, 기존 LeWM 모델보다 뛰어난 제어 성능과 장면 인식 능력을 보여줍니다.
두 번 속지 마라: 경험 기반 추론을 통한 야생 환경의 역경 적응
비정형 환경에서 모바일 에이전트가 교란으로부터 온라인으로 학습하는 지속 학습 프레임워크를 제안합니다. VLM을 활용해 이상 행동의 원인을 의미론적으로 분석하고, 커널 회귀와 복셀 중심 모델링을 통해 불확실성을 추정하여 예측 및 계획 능력을 향상시킵니다.
비선형 보존 법칙을 위한 확장 가능한 베이지안 추론 (Scalable Bayesian Inference for Nonlinear
비선형 보존 법칙을 따르는 역학계의 불확실성을 처리하기 위한 새로운 베이지안 추론 방법을 제안합니다. 희소 근사 기술을 활용하여 대규모 순방향 및 역방향 문제로 확장 가능하며, 기존 신경망 방식보다 빠른 속도로 사후 확률을 복원합니다.
심층 ReLU 신경망을 이용한 비등방성 및 혼합 매끄러운 함수의 근사 및 학습
심층 ReLU 신경망이 비등방성 및 혼합 매끄러운 함수를 근사하는 효율성을 연구한 논문입니다. Besov 공간을 대상으로 차원의 저주를 극복하는 근사율을 증명하고, 미니맥스 최적율 달성 가능성을 제시합니다.
단일 연산자를 통한 다중 스케일 시계열 모델링의 일반화
본 연구는 기존 다중 스케일 시계열 모델링의 이산적 스케일링 한계를 극복하기 위해 SiGMA 아키텍처를 제안합니다. 스케일 공간 이론 기반의 학습 가능한 LDG 커널을 통해 거리 인식 스케일링을 구현하여 예측 성능과 효율성을 동시에 높였습니다.
시계열 분포 외 탐지(OOD Detection)를 위한 초구면 시간-주파수 표현 학습
시계열 데이터의 분포 외(OOD) 탐지를 위해 초구면 임베딩과 vMF 우도를 활용한 새로운 표현 학습 방법을 제안합니다. 시간 및 주파수 도메인을 결합한 공동 임베딩 공간을 통해 k-NN 및 마할라노비스 점수 기반의 탐지 성능을 대폭 향상시켰습니다.
TabCausal: 정형 데이터 인과 발견을 위한 다양한 인과 환경 기반의 사전 학습
TabCausal은 정형 데이터의 인과 관계를 복원하기 위한 새로운 인과 발견 파운데이션 모델(CDFM)입니다. 다양한 인과 환경을 활용한 광범위한 사전 학습을 통해, 기존 모델의 한계를 극복하고 관측 및 개입 데이터 모두에서 뛰어난 구조 학습 성능을 보여줍니다.
Light Interaction: 상호작용형 비디오 월드 모델을 위한 학습 불필요 추론 가속화
상호작용형 비디오 월드 모델의 추론 비용 문제를 해결하기 위한 Light Interaction 프레임워크를 제안합니다. 적응형 컨텍스트 관리와 디노이징 캐시 가속화를 통해 재학습 없이도 최대 2.59배의 속도 향상을 달성했습니다.
설계에 의한 메모리: 확률적 시퀀스 레이어 (Memory by Design: Probabilistic Sequence Layers)
설계-모델(design-model) 프레임워크를 통해 메모리에 대한 명시적 가정을 바탕으로 효율적인 순환 시퀀스 맵을 도출하는 방법을 제안합니다. 베이지안 필터링을 활용하여 메모리의 불확실성을 추적하고, 선형 어텐션 및 Mamba-2와 같은 구조를 하나의 프레임워크 내에서 통합적으로 설명합니다.
어떠한 장면에서도 탐지하기: 경험 인식 추론을 활용한 객체 탐지를 위한 에이전트 기반 프레임워크
DetAS는 MLLM을 중앙 에이전트로 활용하여 이미지 복원과 탐지 과정을 동적으로 구성하는 에이전트 기반 객체 탐지 프레임워크입니다. 경험 인식 추론을 도입한 DetAS-X는 기존 MLLM 기반 탐지기 대비 F1 점수를 대폭 향상시키며 동적 환경에서의 뛰어난 적응력을 입증했습니다.
강화학습 (Reinforcement Learning) 응용을 위한 이중 시간 척도 마르코프 확률 근사 (Two-Timescale
본 연구는 강화학습에서 사용되는 이중 시간 척도 확률 근사(Two-timescale SA) 알고리즘의 수렴성을 마르코프 노이즈 환경에서 입증합니다. 기존 i.i.d. 가정에서 벗어나 더 현실적인 마르코프 노이즈 하에서도 안정성과 수렴성을 보장하는 새로운 기술적 접근법을 제시합니다.
Retriever Portfolios: 적응형 RAG를 위한 원칙적인 접근 방식
단일 검색기에 의존하는 기존 RAG의 한계를 극복하기 위해, 다양한 쿼리 분포에 맞춰 최적의 검색기 하위 집합을 자동으로 선택하는 'Retriever Portfolios' 방식을 제안합니다. 이 방식은 기존 방식보다 높은 답변 품질을 제공하면서도 병렬 처리를 통해 지연 시간과 비용을 효과적으로 절감합니다.
분류 정확도(Classification Accuracy)는 개념 드리프트 탐지 품질(Concept Drift Detection
데이터 스트림 내 개념 드리프트 탐지 품질을 평가하기 위한 통일된 프레임워크의 부재를 지적합니다. 본 연구는 합성 데이터 스트림을 활용하여 드리프트 탐지 지표와 분류 성능 간의 관계를 심층 분석하고 최적의 지표 세트를 식별합니다.
FlagGAM: 설명 가능한 정형 데이터 예측을 위한 규칙 기반 일반화 가법 모델링 (Rule-Based Generalized Additive
FlagGAM은 정형 데이터 예측을 위해 규칙 구축과 예측을 분리한 새로운 가법 모델링 프레임워크를 제안합니다. 인간이 읽을 수 있는 희소 규칙 기저를 사용하여 투명성을 확보하면서도, 결측치와 노이즈에 강건한 성능을 보여줍니다.
공변량 변화 (Covariate Shift) 상황에서 강건한 양의 미라벨 학습 (Positive Unlabeled Learning)을 위한
공변량 변화(Covariate Shift) 상황에서 데이터 분포 중첩 문제를 해결하기 위해 양의 미라벨 학습(PU Learning)을 활용한 새로운 프레임워크 SPUNA를 제안합니다. 시각적 특징의 국소 매니폴드 구조를 활용하여 변화된 데이터를 탐지하며, 완전 지도 학습에 근접하는 성능을 보여줍니다.
학생 모델의 용량이 지식 증류(Knowledge Distillation) 효과를 조절한다: CIFAR-10의 ResNet 교사-학생 쌍에 대한
CIFAR-10 데이터셋의 ResNet 모델을 활용하여 교사-학생 모델 간의 용량 차이가 지식 증류(KD) 효과에 미치는 영향을 분석했습니다. 연구 결과, 학생 모델의 용량이 증류 이득의 핵심 조절 요인이며, Feature-KD의 구현 정확도와 입력 해상도 인지 아키텍처가 성능에 결정적임을 밝혀냈습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.