Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 1862건필터 해제
엔트로피 추론을 통한 인과적 아틀라스: 최적의 DAG를 넘어선 베이지안 네트워크
본 논문은 기존 베이지안 네트워크의 최적화 방식이 가진 한계를 지적하며, 엔트로피 기반 추론을 통해 데이터에 충실한 인과 관계 아틀라스를 구축하는 방법을 제안합니다. 단일 DAG 대신 최대 엔트로피 그래프 앙상블을 사용하여 데이터의 구조적 모호성을 정량화하고 보다 정확한 인과 지도를 생성합니다.
인컨텍스트 다중 인스턴스 학습 (In-Context Multiple Instance Learning)
본 연구는 저라벨 환경의 다중 인스턴스 학습(MIL) 문제를 해결하기 위해 Perceiver 스타일의 인컨텍스트 학습기를 제안합니다. 합성 데이터로 사전 학습된 이 모델은 그래디언트 업데이트 없이 단 한 번의 순전파만으로 새로운 과제를 수행하며, 12개 벤치마크에서 기존 지도 학습 모델을 능가하는 성능을 보였습니다.
AI-RAN의 파라미터-KPI 의존성 학습을 위한 이벤트 탐지
AI-RAN 및 O-RAN 환경에서 제어 파라미터와 네트워크 KPI 간의 의존성을 학습하기 위한 이벤트 탐지 방법론을 제안합니다. 노이즈가 포함된 연속 텔레메트리 데이터에서 실제 제어 상호작용을 배경 변동과 구분하여 포착하는 데 중점을 둡니다.
You Only Index Once: 공유 라우팅을 통한 교차 레이어 희소 어텐션 (Cross-Layer Sparse Attention)
긴 문맥 추론 시 발생하는 디코딩 효율성 문제를 해결하기 위해 교차 레이어 희소 어텐션(CLSA)을 제안합니다. 단일 인덱서가 계산한 라우팅 인덱스를 레이어 간 공유함으로써 오버헤드를 줄이고 토큰 희소 어텐션의 정확도를 유지합니다.
좋은 보간기(Interpolators)는 얼마나 풍부한가?
선형 분류 모델의 보간(interpolation) 성능과 일반화 오차 사이의 관계를 대편차 원리를 통해 분석한 연구입니다. 가우시안 혼합 모델과 로지스틱 모델 환경에서 보간 분류기들의 일반화 성능이 특정 값으로 집중되는 현상을 수학적으로 입증했습니다.
PC Layer: LLM 사전 학습 개선을 위한 다항식 가중치 프리컨디셔닝 (Polynomial Weight Preconditioning)
LLM 사전 학습의 안정성을 높이기 위해 가중치 행렬의 특이값 스펙트럼을 재형성하는 PC 레이어를 제안합니다. 저차 다항식 프리컨디셔닝을 사용하여 추론 오버헤드 없이 학습 효율을 개선하며, Llama-1B 모델 실험을 통해 성능 우위를 입증했습니다.
확산 언어 모델을 위한 자기 증강 검색 (Self-Augmenting Retrieval for Diffusion Language Models)
이산 확산 언어 모델의 디노이징 과정에서 발생하는 저확신 토큰을 활용하여 검색을 수행하는 SARDI 프레임워크를 제안합니다. 별도의 학습 없이도 디노이징 궤적의 초기 신호를 통해 강력한 증거를 검색함으로써 성능과 처리량을 크게 향상시킵니다.
RREDCoT: 추론 모델을 위한 세그먼트 수준의 보상 재분배
추론 언어 모델의 강화학습 과정에서 발생하는 지연된 보상 및 높은 분산 문제를 해결하기 위한 RREDCoT 방법론을 제안합니다. 추가적인 생성 없이 모델 자체를 활용하여 CoT 세그먼트에 최적의 보상을 재분배함으로써 신용 할당 문제를 개선합니다.
DNQ: 부분 관측 가능한 n-인 게임을 위한 심층 Nash Q-네트워크 (Deep Nash Q-Network)
부분 관측 가능한 n-인 게임 환경에서 입찰 에이전트를 훈련하기 위한 DNQ 프레임워크를 제안합니다. 공유 비평가를 활용한 쌍별 보상 추정 방식을 통해 계산 비용을 줄이면서도 전략적 평형을 학습할 수 있습니다.
재귀성 없이 순환 신경망(Recurrent Networks) 사전 학습하기
RNN의 고질적인 문제인 기울기 소실과 병렬성 제한을 해결하기 위한 지도 메모리 학습(SMT) 방법론을 제안합니다. SMT는 재귀적 크레딧 전파를 우회하여 RNN을 단일 단계 지도 학습으로 변환함으로써 시간 병렬적 학습과 안정적인 기울기 경로를 제공합니다.
다중 입도(Multi-Granularity) AI-텍스트 탐지를 위한 작업 가이드 기반 점진적 인간-AI 텍스트 변환 벤치마크
인간과 AI의 공동 편집 과정을 반영한 다중 입도 AI-텍스트 탐지 벤치마크인 OpAI-Bench를 소개합니다. 문서, 문장, 토큰 등 다양한 수준에서 AI 저자성 신호를 분석하며, 기존 벤치마크가 놓쳤던 비단조적 탐지 패턴을 규명합니다.
반복 게임에서 적응형 상대방을 고려한 후회 최소화 (Regret Minimization with Adaptive Opponents in
적응형 상대방이 존재하는 반복 게임에서 기존 외부 후회 지표의 한계를 극복하기 위해 RP-Regret 지표를 새롭게 제안합니다. 플레이어의 반사실적 추론을 반영하여 더 나은 균형을 찾을 수 있는 알고리즘과 이론적 조건을 연구합니다.
HANDOFF: 증류된 상호 보완적 교사 모델을 통한 휴머노이드 에이전트의 태스크 공간 전신 제어 (Whole-Body Control)
휴머노이드 로봇의 태스크 계획과 전신 제어 사이의 인터페이스를 개선하는 HANDOFF 프레임워크를 제안합니다. 다중 교사 KL 증류 방식을 통해 동작 추적, 보행, 낙상 회복 전문가 모델을 하나의 학생 모델로 통합하여 Unitree G1 로봇에서 뛰어난 성능을 입증했습니다.
TailLoR: 매개변수 효율적 연속 학습 (Parameter-Efficient Continual Learning)에서 주성분 보호하기
TailLoR은 매개변수 효율적 연속 학습을 위해 사전 학습된 가중치의 특이 기저를 고정된 참조 프레임으로 활용하는 방법론입니다. 소프트 스펙트럼 페널티를 통해 지배적인 특이 방향의 업데이트를 억제하고 롱테일 스펙트럼 좌표로의 적응을 유도하여 간섭을 줄입니다.
불완전한 압축 하에서의 예측: 근사 MDL 이론
본 논문은 근사적 최적화를 사용하는 실제 머신러닝 환경에서 MDL(최소 기술 길이) 이론이 신뢰할 수 있는 예측을 보장하는지 연구합니다. 가산 슬랙(additive slack)을 갖는 근사 모델에서도 누적 예측 오차가 유한함을 수학적으로 증명하며, 가산 근사가 모델 선택의 필수 조건임을 입증합니다.
Hamiltonian Causal Models을 통한 인과관계와 비평형 열역학의 화해
Hamiltonian Causal Models(HCMs)를 통해 물리적 시간 현상과 비평형 열역학을 통합하는 새로운 인과 모델링 프레임워크를 제안합니다. HCMs는 불변의 운동 방정식과 개입 가능한 메커니즘을 분리하여 시스템의 비가역적 진화 과정을 설명합니다.
확률적 최단 경로 문제(Stochastic Shortest Path Problem)를 위한 베이지안 학습
본 연구는 확률적 최단 경로(SSP) 문제 해결을 위한 새로운 베이지안 학습 프레임워크를 제안합니다. 벨만 최적 방정식을 통해 행동 가치 함수(Q*)의 사후 믿음을 직접 구축하며, 기존 방식의 비현실적인 가정 없이 불확실성을 정량화합니다.
불완전성 재고: 견고한 IMVC를 위한 프로토콜 발산(Protocol Divergence) 및 단일 학습(Train-Once
IMVC(불완전 다중 뷰 클러스터링) 평가 시 결측률만으로는 데이터의 불완전성을 충분히 설명할 수 없음을 지적합니다. 이를 해결하기 위해 단 한 번의 학습으로 다양한 결측 패턴에 대응 가능한 CRAFT 아키텍처를 제안합니다.
사전 정보 가이드 기반 하이퍼파라미터 최적화에서의 증명 가능한 샘플 비용 감소
본 연구는 AutoML의 하이퍼파라미터 최적화(HPO) 과정에서 사전 정보가 샘플 복잡도를 어떻게 감소시키는지 이론적으로 규명합니다. 다중 충실도 설정에서 분포 의존적 오차 경계를 도출하였으며, 실험을 통해 최대 90%의 예산 절감 효과를 입증했습니다.
TabPFN을 위한 텍스트 인코더 사전 학습(Pretraining)을 향하여
TabPFN과 같은 정형 데이터 모델이 텍스트 피처를 처리할 때 발생하는 정보 병목 현상을 해결하기 위한 새로운 어댑터 방식을 제안합니다. PCA 압축 대신 경량 어댑터를 통해 텍스트 임베딩을 TabPFN의 토큰 공간으로 직접 매핑하여 효율성을 높였습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.