Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG (Machine Learning) 112건필터 해제
AMEL: LLM 판단에 미치는 누적 메시지 효과
LLM이 이전 대화 기록의 극성에 따라 후속 판단이 편향되는 '누적 메시지 효과(AMEL)'를 규명한 연구입니다. OpenAI, Anthropic, Google 등 주요 모델들이 대화의 지배적인 분위기에 따라 판단이 이동하며, 특히 부정적 기록에 더 민감하게 반응함을 확인했습니다.
오프라인 목표 조건부 강화학습 (Goal-Conditioned Reinforcement Learning)을 위한 추상화 (Abstraction)
오프라인 목표 조건부 강화학습(GCRL)에서 상태-목표 쌍의 중복성을 해결하기 위해 절대적 추상화를 활용하는 연구입니다. 상대화된 옵션과 계층별 별도 표현법을 도입하여 에이전트의 경험 재사용 능력을 높이는 프레임워크를 제안합니다.
라이브 뮤직 디퓨전 모델 (Live Music Diffusion Models): 인터랙티브 디퓨전 음악 생성기를 위한 효율적인 미세 조정 및
본 연구는 실시간 인터랙티브 음악 생성을 위해 기존 오디오 디퓨전 모델을 효율적으로 재용도화하는 LMDMs를 제안합니다. 블록 단위 KV 캐싱과 ARC-Forcing 패러다임을 통해 계산 효율성을 높이고 오차 누적을 줄여 소비자용 하드웨어에서도 실시간 협업이 가능하게 합니다.
활성화를 통한 작업 실패 분석: 간접 목적어 식별(IOI) 작업에 대한 GPT-2 small의 희소 특징(Sparse-Feature) 감사
GPT-2 small 모델의 간접 목적어 식별(IOI) 작업 성공 및 실패 사례를 Sparse-Autoencoder(SAE)를 통해 분석한 연구입니다. 특정 특징(feature 17,491)과 실패 사례 간의 상관관계를 확인했으나, 인과적 절제 실험을 통해 해당 특징이 충분한 원인은 아님을 밝혀냈습니다.
Gaussian DDPM에서의 공분산 매칭(Covariance Matching)의 가치와 Lanczos Sampler
Gaussian DDPM에서 경로 KL 발산을 줄이기 위해 전체 사후 공분산을 매칭하는 기법을 제안합니다. Lanczos Gaussian Sampler(LGS)를 통해 추가 학습 없이도 효율적인 샘플링이 가능하며, 기존 방식보다 높은 샘플 품질을 달성합니다.
사후 학습(Post-Training)은 토큰이 아닌 상태(States)에 관한 것이다: SFT, RL 및 On-Policy
LLM 사후 학습을 손실 함수가 아닌 상태 분포 형성(State-distribution Shaping) 관점에서 분석한 연구입니다. SFT, RL, OPD가 모델의 성능 향상과 유지 성능(Retention)에 미치는 영향을 실험적으로 입증했습니다.
다중 신경 연산자(Multiple Neural Operators)가 다중 작업 학습(Multi-Task Learning)에서 최적에 가까운
Multiple Neural Operators(MNO) 아키텍처의 다중 작업 학습(Multi-Task Learning) 시 근사 및 통계적 복잡도를 연구한 논문입니다. MNO가 단일 연산자 학습과 동일한 스케일링 법칙을 따르며, 공유된 표현이 비용을 증가시키지 않음을 증명했습니다.
매니폴드(Manifold)의 교집합에 대한 최적화
두 매니폴드의 교집합 최적화 문제를 해결하기 위해 규칙성과 내재적 횡단성의 동등성을 증명한 연구입니다. 단일 매니폴드 리트랙션과 두 직교 방향을 활용한 기하학적 업데이트 방식을 제안하여 수렴 속도와 최적성을 입증했습니다.
증류 게임 (The Distillation Game): 적응형 공격 및 효율적인 방어
모델의 유용성과 보안성 사이의 트레이드오프를 다루는 증류 공격(Distillation attacks) 연구를 소개합니다. 적응형 학생 모델을 활용한 미니맥스 게임 프레임워크를 통해 효율적인 방어 기법인 PoE(Product-of-Experts)를 제안합니다.
국소적으로 적응 가능한 불확실성 영역을 갖춘 삼진 결정 트리 (Ternary Decision Trees with Locally-Adaptive
기존 이진 결정 트리의 한계를 극복하기 위해 불확실성 영역을 도입한 삼진 결정 트리(Ternary Decision Trees)를 제안합니다. 각 노드에서 국소적으로 계산된 불확실성 영역을 통해 경계 근처의 데이터를 가중 혼합 예측하며, 실험 결과 표준 CART보다 높은 정확도를 보였습니다.
Shapley 및 Banzhaf 상호작용의 프록시 기반 근사 (Proxy-Based Approximation of Shapley and
고차 상호작용을 포착하는 Shapley 및 Banzhaf 지수의 효율적인 추정을 위해 ProxySHAP을 제안합니다. 트리 기반 프록시 모델과 잔차 보정 전략을 결합하여 속도와 정확도 문제를 동시에 해결했습니다.
SeqLoRA: 지속적인 다중 개념 생성을 위한 이중 레벨 직교 적응 (Bilevel Orthogonal Adaptation)
SeqLoRA는 텍스트-이미지 확산 모델에서 여러 사용자 정의 개념을 간섭 없이 생성하기 위한 이중 레벨 최적화 프레임워크입니다. 이중 레벨 최적화를 통해 LoRA 인자를 공동 최적화함으로써 기존 방식의 표현력 제한과 사후 융합 비용 문제를 해결합니다.
Evidential Deep Learning을 위한 Plug-in Losses: Softmax Classifier를 포함하는 불확실성
Evidential Deep Learning(EDL)의 복잡한 목적 함수를 Plug-in Losses로 근사하여 계산 효율성을 높이는 연구입니다. Dirichlet 분포를 활용해 단일 패스로 불확실성을 추정하며, 표준 Softmax Classifier를 포함하는 프레임워크를 제안합니다.
다중 에이전트 강화학습 (Multi-Agent Reinforcement Learning)을 통한 초인적인 안전하고 민첩한 레이싱
다중 에이전트 강화학습(MARL)을 활용하여 고속 쿼드로터 레이싱에서 인간 조종사를 능가하는 성능을 달성했습니다. 리그 기반 셀프 플레이를 통해 복잡한 공기역학적 상호작용과 충돌 회피를 학습하여 안전성과 민첩성을 동시에 확보했습니다.
머신러닝 및 메타휴리스틱 특징 최적화를 이용한 IoT 기반 스마트 그리드의 사이버-물리 이상 탐지
스마트 그리드의 사이버-물리적 이상 탐지를 위해 머신러닝과 유전 알고리즘 기반의 특징 최적화 기법을 제안합니다. MSU/ORNL 데이터셋을 활용해 공격과 물리적 사고를 구분하며, 특징 선택을 통해 모델의 성능과 효율성을 동시에 향상시켰습니다.
Lumberjack: 트리 내 Heavy Hitter 탐지를 통한 더 나은 차분 프라이버시 (Differentially Private) 랜덤
Lumberjack은 차분 프라이버시(DP)를 적용할 때 발생하는 성능 저하 문제를 해결하기 위해 제안된 새로운 랜덤 포레스트 알고리즘입니다. 계층적 데이터용 Heavy Hitter 탐지 알고리즘을 통해 효율적인 가지치기를 수행하며, 기존 방식보다 높은 유용성과 표현력을 제공합니다.
Uniform Diffusion Models 재고: Leave-One-Out Denoiser 및 Absorbing State 재정식화
Uniform Diffusion Models(UDM)의 학습 목적 함수와 파라미터화 사이의 불일치를 분석하고, Leave-One-Out 사후 확률을 통한 최적화 방안을 제시합니다. 또한 Absorbing State 재정식화를 통해 UDM의 샘플링 성능을 개선하고 Masked Diffusion과의 격차를 해소하는 연구를 다룹니다.
SDPM: 연속 시간 생존 분석을 위한 생존 확산 확률 모델 (Survival Diffusion Probabilistic Model)
SDPM은 연속 시간 생존 분석을 위해 노이즈 제거 확산 모델을 활용하는 새로운 생성적 접근 방식을 제안합니다. 기존 모델의 한계인 구조적 가정과 시간 이산화 문제를 해결하며, 다양한 데이터셋에서 강력한 예측 성능을 입증했습니다.
CogAdapt: 리드 적응 (Lead Adaptation)을 통한 임상 ECG 파운데이션 모델의 웨어러블 인지 부하 평가 전이
임상 ECG 파운데이션 모델을 웨어러블 기기의 인지 부하 평가에 적용하기 위한 CogAdapt 프레임워크를 제안합니다. LeadBridge 어댑터와 ProFine 미세 조정 전략을 통해 센서 불일치와 파괴적 망각 문제를 해결하며 우수한 성능을 입증했습니다.
MambaGaze: 시선 추적 데이터로부터 인지 부하 평가를 위한 명시적 결측 데이터 모델링 기반 양방향 Mamba
MambaGaze는 시선 추적 데이터의 결측치 문제를 해결하고 장기적 시간 의존성을 모델링하기 위해 제안된 양방향 Mamba 기반 프레임워크입니다. XMD 인코딩과 Mamba-2를 결합하여 기존 모델 대비 높은 정확도를 달성했으며, 엣지 디바이스에서의 실시간 추론 가능성을 입증했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.