Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG (Machine Learning) 112건필터 해제
요인 분해 확산 정책 (Factored Diffusion Policies): 단일 스코어 네트워크를 통한 구성적 일반화 로봇 제어
단일 공유 확산 네트워크를 사용하여 로봇 제어의 구성적 일반화를 달성하는 '요인 분해 확산 정책'을 제안합니다. 요인별 널 토큰 드롭아웃을 통해 학습 예산을 획기적으로 줄이면서도 미학습 환경에서 높은 성능과 안정성을 입증했습니다.
Deep Ensembles가 실제로 Graph Neural Networks에서 불확실성을 포착하는가?
본 연구는 Deep Ensembles가 Graph Neural Networks(GNN)에서 불확실성을 효과적으로 포착하는지 조사합니다. 실험 결과, 앙상블이 불확실성 추정보다는 점 예측의 노이즈 안정화에만 기여하며, 독립적 네트워크들이 유사한 예측으로 수렴하는 'Epistemic collapse' 현상을 발견했습니다.
MoSA: 잔차 이방성 (Residual Anisotropy) 학습을 통한 연속체 역학 (Continuum Dynamics)의
MoSA는 실제 세계의 역학을 학습할 때 발생하는 등방성 가정의 한계를 극복하기 위해 제안된 프레임워크입니다. 잔차 응력 연산자를 통해 재료의 이방성과 불균질성을 포착하며, 물리적 사전 지식을 유지하면서도 높은 정확도와 일반화 성능을 달성합니다.
소아 중환자실(PICU) 내 항생제 관리(AMS)를 위한 머신러닝 아키텍처 벤치마킹
소아 중환자실(PICU) 내 항생제 관리(AMS)를 위한 머신러닝 모델들의 성능을 벤치마킹한 연구입니다. 표 형식, 시퀀스 기반, 그래프 기반 모델을 비교하여 임상적 의사결정 지원을 위한 최적의 아키텍처와 시간적 해상도의 영향을 분석했습니다.
헬스케어 LLM 벤치마크는 명시적 가정만큼만 유효하다
헬스케어 LLM 벤치마크가 실제 배포 성능을 예측하지 못하는 원인을 분석하고, 평가와 배포 사이의 간극을 해결하기 위한 새로운 프레임워크를 제안합니다. 가정을 작업(task)과 결과(outcome) 범주로 분류하여 체계적으로 검증하는 방법론을 다룹니다.
LLM 가이드 프로그램 발견을 위한 진화적 다중 작업 최적화
LLM 가이드 프로그램 발견 시 여러 작업을 동시에 최적화하는 EMO-STA 프레임워크를 제안합니다. 공유 아카이브를 먼저 구축한 후 각 작업에 적응시키는 2단계 방식을 통해 단일 작업 최적화보다 높은 성능과 일반화 능력을 보여줍니다.
둘은 하나보다 낫다: 붕괴 없는 다중 보상 RLIF 학습 프레임워크
기존 RLIF 방식의 보상 해킹과 엔트로피 붕괴 문제를 해결하기 위해 다중 보상 프레임워크를 제안합니다. 정답 수준 보상과 완성 수준 보상을 결합하고 GDPO 및 KL-Cov 정규화를 적용하여 안정적인 학습을 구현했습니다.
UNAD+: 미지의 네트워크 공격 탐지를 위한 설명 가능한 하이브리드 프레임워크
미지의 네트워크 공격을 탐지하기 위한 향상된 하이브리드 프레임워크인 UNAD+를 제안합니다. 비지도 앙상블, 지도 정제, 사후 설명 가능성 계층을 결합하여 제로 데이 공격 탐지 성능을 높이고 오탐률을 낮췄습니다.
Wasserstein 정책 최적화 (WPO)의 수렴성에 관한 노트
Wasserstein 정책 최적화(WPO) 알고리즘의 이론적 수렴성을 분석한 연구 노트입니다. 엔트로피 정규화된 MDP 프레임워크 내에서 WPO가 전역 최적해로 선형 수렴함을 로그-소볼레 부등식을 통해 입증합니다.
다중 작업 방사선 보고서 생성에서의 이중 딜레마: 그래디언트 역학 분석 및 해결책
다중 작업 학습 기반 방사선 보고서 생성 시 발생하는 선형 스칼라화의 한계를 SDE 프레임워크로 분석하고, 이를 해결하기 위한 새로운 옵티마이저 CAME-Grad를 제안합니다. CAME-Grad는 그래디언트 충돌을 회피하고 크기를 강화하여 임상적 효능을 유의미하게 향상시킵니다.
더 많은 문맥, 더 큰 모델, 아니면 도덕적 지식인가? 정치적 텍스트 내 Schwartz 가치 탐지에 관한 체계적 연구
정치적 텍스트 내 Schwartz 가치 탐지를 위해 문맥의 양과 도덕적 지식의 유용성을 체계적으로 연구했습니다. DeBERTa와 다양한 규모의 LLM을 비교한 결과, 문맥 확대나 모델 규모 확장이 항상 성능 향상을 보장하지는 않음을 확인했습니다.
왜 SGD는 브라운 운동(Brownian Motion)이 아닌가: 확률적 역학(Stochastic Dynamics)에 대한 새로운 관점
SGD의 미니배치 노이즈가 브라운 운동이 아닌 이산적 역학임을 증명하는 연구입니다. 랑제뱅 과정 대신 마스터 방정식을 통해 이산 푸크스-플랑크 방정식을 도출하고, 손실 지형의 평탄도에 따른 파라미터의 확산 양상을 분석합니다.
SegCompass: 향상된 추론 세그멘테이션을 위한 Sparse Autoencoder 기반의 해석 가능한 정렬 탐구
SegCompass는 Sparse Autoencoder(SAE)를 활용하여 LLM의 추론 과정과 시각적 인지를 투명하게 연결하는 엔드투엔드 모델입니다. CoT와 시각적 토큰을 공유된 희소 개념 공간으로 매핑하여 해석 가능한 정렬 경로를 구축합니다.
확률적 전조가 있는 비서 문제 (The Secretary Problem with a Stochastic Precursor)
본 논문은 예측의 내용이 아닌 '도착 시간' 자체가 가치를 갖는 학습 증강 온라인 알고리즘을 연구합니다. 확률적 전조가 포함된 비서 문제를 통해, 정보가 없는 신호의 타이밍만으로도 최적 정지 구조가 어떻게 변화하고 성공 확률이 개선되는지 규명합니다.
베이스라인에서 추적 관찰까지: 인과적 계층적 변분 오토인코더(CHVAE)를 이용한 UK Biobank 내 반사실적 척추 DXA 이미지 합성
UK Biobank의 DXA 이미지를 활용하여 인과적 일관성을 가진 반사실적 이미지를 합성하는 CHVAE 모델을 제안합니다. AAP 방식을 통해 연령 변화에 따른 척추 형태의 변화를 성공적으로 예측하고 합성할 수 있음을 입증했습니다.
홀로그래픽 함수 (Holographic functions)와 신경망 (Neural networks)
퍼지 불리언 함수의 유계된 복잡성을 나타내는 세 가지 방식인 샘플링, 구조적, 계산적 속성을 정의하고 비교합니다. 이 세 가지 속성이 매개변수의 정량적 변화를 제외하면 수학적으로 동등함을 증명합니다.
임베딩의 개념화: 시각-언어 모델(Vision-Language Models)을 위한 희소 얽힘 해제 (Sparse Disentanglement)
시각-언어 모델의 불투명한 임베딩 구조를 해석하기 위해 차원 확장 없이도 의미론적 특징을 추출하는 CEDAR 방식을 제안합니다. 가역적 변환을 통해 임베딩을 축에 정렬된 형태로 해제하여 CLIP이나 BLIP 모델의 해석 가능성을 높였습니다.
ChronoVAE-HOPE: 어텐션을 넘어 — 특화된 시계열 분류를 위한 차세대 VAE 파운데이션 모델 (Foundation Model)
ChronoVAE-HOPE는 시계열 분류를 위해 설계된 차세대 VAE 기반 파운데이션 모델입니다. 어텐션의 이차 비용 문제를 해결하기 위해 Titans 모듈과 연속 메모리 시스템(CMS)을 도입하고, 추세와 계절성을 분리하는 구조화된 잠재 표현을 제공합니다.
클리핑 병목 현상: 근경계 신호의 확률적 복구를 통한 RLVR 안정화
RLVR 학습 과정에서 발생하는 클리핑 병목 현상을 분석하고, 이를 해결하기 위한 NSR(Near-boundary Stochastic Rescue) 기법을 제안합니다. 근경계 신호를 확률적으로 복구함으로써 학습 안정성을 높이고 모델의 추론 성능을 개선합니다.
자동 스펙트럼 프루닝(Automatic Spectral Pruning)으로서의 사후 확률 붕괴(Posterior Collapse)
$β$-VAE에서 발생하는 사후 확률 붕괴가 자동 스펙트럼 프루닝 역할을 한다는 것을 증명합니다. Landau 안정성 분석을 통해 잠재 모드의 붕괴 임계값을 도출하고, 유효 변수를 식별할 수 있는 질서 매개변수를 정의합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.