Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2125건필터 해제
대규모 기하학 범용 PDE 해결을 위한 Neural-Schwarz Tiling
본 논문은 기존의 글로벌 대리 모델(global-surrogate) 기반 신경 연산자(neural operator)가 새로운 도메인에 대한 재사용성이 떨어진다는 한계를 지적하며, 이를 극복하기 위한 국소-전역 프레임워크 $\textbf{NEST}$ (Neural-Schwarz Tiling)를 제안합니다. NEST는 전체 해 필드를 학습하는 대신, 작은 이웃 영역(voxel patch)에서의 국소 물리 솔버를 학습하고, 고전적인 도메인 분할 및 Schwarz 결합을 통해 전역 일관성을 확보하여 일반화 능력을 크게 향상시킵니다. 이를 통해 크기와 기하학적 복잡성이 다른 대규모 PDE 문제에 적용 가능한 확장성 높은 학습형 PDE 솔버를 구현했습니다.
동역학계 (Dynamical Systems)의 임계 전이 (Critical Transitions) 예측을 위한 인컨텍스트 학습
본 연구는 시스템 동역학에서 발생하는 갑작스럽고 되돌릴 수 없는 변화(임계 전이)를 예측하기 위한 새로운 인컨텍스트 학습(ICL) 프레임워크인 TipPFN을 제안한다. 기존의 통계적 지표나 딥러닝 모델은 실제 세계의 복잡한 데이터 조건에서 한계를 보이는데, TipPFN은 사전 데이터 적합 네트워크와 합성 데이터를 결합하여 이러한 문제를 해결한다. 이 방법론은 다양한 크기와 차원의 컨텍스트를 활용하여 제로샷 및 ICL 설정 모두에서 임계 전이 조기 탐지 능력을 입증했다.
Joint KL에서의 자기회귀 학습 (Autoregressive Learning in Joint KL): 정밀한 Oracle Bounds 및
본 논문은 모델 오지정 하에서 결합 Kullback-Leibler (KL) 발산을 이용한 자기회귀 모델링 및 다음 토큰 예측 시 긴 시퀀스 학습 문제를 다룹니다. 연구 목표는 시퀀스 지평 $H$가 근사 오차와 추정 오차에 미치는 영향을 규명하는 것입니다. 분석 결과, 결합 KL 목적 함수는 계산 효율적인 방법들과 달리 지평에 무관한(horizon-free) 근사 계수를 허용함을 보였습니다. 또한, 정책 학습의 정보 이론적 하한은 $ ext{O}(H)$ 차수임을 증명했으며, 이는 기존 알고리즘의 상한과 일치합니다. 이러한 분석을 통해 로그 손실 훈련 목적 함수와 시퀀스 수준 평가 지표 간의 관계를 명확히 하고, 정책 학습 후회 경계에 대한 이론적 기반을 제시했습니다.
Byzantine Adversaries 하에서의 Agentic AI 분산 거버넌스를 위한 공격 및 완화 방안
본 연구는 Agentic AI 거버넌스 인프라의 핵심 구성 요소인 Provider가 악의적인 내부자 공격에 취약하다는 문제를 다룹니다. 이를 해결하기 위해, 에이전트의 귀속성 저해, 개인 데이터 추출 등 파괴적인 효과를 지닌 여러 공격 시나리오를 분석하고 식별했습니다. 궁극적으로, 연구진은 완전한 Byzantine 내결함성을 제공하는 SAGA-BFT부터, 성능과 보안 간의 균형을 맞춘 하이브리드 아키텍처인 SAGA-HYB까지 세 가지 유형의 보호 솔루션을 제안하며 각 아키텍처를 비교 분석합니다.
다변수 Conformal Prediction: 데이터 분할 없는 예측 집합 최적화
본 논문은 기존 Conformal prediction이 스칼라 점수 함수와 단일 임계값 변수에 제한되어 데이터 분할(data splitting)에 의존하는 한계를 극복하기 위해 multi-variable conformal prediction (MCP) 프레임워크를 제안합니다. MCP는 시나리오 이론을 기반으로 예측 집합 설계와 교정을 하나의 최적화 문제로 통합하여, 커버리지 보장을 유지하면서 데이터 분할 없이 작동합니다. 연구진은 두 가지 효율적인 변형 모델인 RemMCP(제약 최적화 기반)와 RelMCP(반복 최적화 기반)를 제시하고, 이를 통해 타원체 및 다중 모드 예측 집합에 대해 높은 성능을 입증했습니다.
메시지 전달 (Message-Passing)에서 선형화된 그래프 시퀀스 모델 (Linearized Graph Sequence Models)으로
본 논문은 그래프 구조 데이터 학습에서 기본 중추 역할을 하는 메시지 전달(Message-passing) 기반 접근 방식을 시퀀스 모델링 관점에서 재구성한 '선형화된 그래프 시퀀스 모델(Linearized Graph Sequence Models)' 프레임워크를 제안합니다. 이 방법론은 계산 처리 깊이와 정보 전파 깊이를 체계적으로 분리하여, 핵심적인 그래프 아키텍처 결정을 시퀀스 모델링의 선택 사항으로 다룰 수 있게 합니다. 이를 통해 장거리 정보 작업에서 성능 향상을 입증하며, 현대 시퀀스 모델링의 발전을 메시지 전달 기반 그래프 학습에 통합하는 원칙적인 방법을 제시합니다.
MetaColloc: 메타 학습된 기저 함수를 통한 최적화가 필요 없는 PDE 풀이
MetaColloc는 편미분 방정식(PDEs)을 푸는 과정에서 발생하는 느린 최적화 과정을 제거하는 혁신적인 프레임워크입니다. 이 시스템은 기저 발견 과정을 풀이 단계와 분리하고, 다양한 Gaussian Random Fields 상에서 듀얼-브랜치 신경망을 메타 학습하여 범용 사전(universal dictionary)의 신경망 기저 함수를 생성합니다. 테스트 시점에는 네트워크를 동결한 후 콜로케이션 행렬과 선형 최소제곱법을 사용하여 PDE 해를 찾으며, 이는 높은 정확도와 계산 효율성을 동시에 달성합니다.
당신의 Block Floating Point Scale을 검색하세요!
본 연구는 생성 모델 추론 가속화를 위한 표준 기술인 양자화(Quantization)의 한계를 극복하고자 합니다. 기존 BFP 스케일 선택 방식이 최적화되지 않을 수 있다는 문제점을 지적하며, 주어진 분포에서 양자화 오차를 최소화하는 새로운 전략인 ScaleSearch를 제안합니다. ScaleSearch는 미세 조정 검색을 통해 가수부 비트(mantissa bits)를 활용하여 스케일을 결정하고, 이를 기존 PTQ 및 저정밀도 어텐션 방법론에 통합함으로써 성능 향상을 입증했습니다.
Pion: 직교 동등 변환 (Orthogonal Equivalence Transformation)을 통한 스펙트럼 보존 옵티마이저
Pion은 직교 동등 변환(Orthogonal Equivalence Transformation)에 기반한 스펙트럼 보존 옵티마이저로, LLM 학습의 효율성을 높이기 위해 설계되었습니다. 기존 가산적 옵티마이저와 달리, Pion은 좌우 직교 변환을 통해 각 가중치 행렬의 특이값과 스펙트럼 노름을 유지하면서 최적화를 수행합니다. 이 메커니즘은 LLM 사전 학습 및 미세 조정 과정에서 안정적이고 경쟁력 있는 성능을 보여줍니다.
다양한 전문가가 존재하는 환경에서의 온라인 학습-위임 (Online Learning-to-Defer)
본 논문은 배치 설정에 국한되었던 기존의 학습-위임(Learning-to-Defer) 방식을 스트리밍 데이터와 변화하는 전문가 환경으로 확장한 최초의 온라인 L2D 알고리즘을 제안합니다. 밴딧 피드백과 동적인 전문가 풀을 고려한 다중 클래스 분류 모델을 통해, 전문가의 가용성과 분포가 변하는 실제 배포 환경에서도 안정적인 성능을 보장합니다.
확장 가능한 Vision Transformers를 위한 Elastic Attention Cores
Vision Transformers(ViTs)의 고해상도 처리 시 발생하는 제곱 복잡도 문제를 해결하기 위해, 소수의 학습된 코어 토큰을 통해 정보를 교환하는 VECA(Visual Elastic Core Attention) 구조를 제안합니다. VECA는 패치 간 직접적인 상호작용 대신 코어를 통신 인터페이스로 활용하여 선형 시간 복잡도 $O(N)$을 달성하며, 추론 시 계산량과 정확도 사이의 탄력적인 조절이 가능합니다.
배치에 신뢰를 두다, 온-폴리시 또는 오프-폴리시: RL 후 훈련을 위한 적응형 정책 최적화
강화학습(RL)은 데이터 분포 자체를 변경하기 때문에 지도학습보다 구조적으로 취약하며, 특히 훈련 시스템과 구동 시스템 간의 차이로 인해 대규모 모델 훈련 시 문제가 발생한다. 기존 방법들은 하이퍼파라미터를 통해 이 취약성을 관리하지만, 이는 알고리즘을 설정값에 민감하게 만든다. 본 논문은 정책 비율 분포를 기반으로 하는 간단하고 효과적인 배치 적응형 목적 함수를 제안하여, 신뢰 영역 및 오프-폴리시 정규화의 문제를 해결한다.
Whisper를 활용한 음성 신뢰도 감지를 위한 준지도 학습 프레임워크
본 논문은 Whisper 인코더 임베딩과 해석 가능한 음향 특징(eGeMAPS) 및 목소리 스트레스/비유창성 보조 확률을 결합한 준지도 하이브리드 프레임워크를 제안합니다. 이 프레임워크는 레이블링되지 않은 데이터에서 불확실성을 인식하며 가짜 레이블을 생성하고 고품질 샘플만 학습에 활용하는 전략을 도입하여, 희귀 정답 데이터 의존도를 낮춥니다. 실험 결과, 본 접근 방식은 WavLM, HuBERT 등 기존 자기 지도 학습 모델들을 능가하는 성능(Macro-F1 0.751)을 달성했습니다.
다중 에이전트 강화학습에서 행동 다양성의 트리거로서의 이벤트
본 논문은 다중 에이전트 협력 환경에서 작업 조건 변화에 따라 에이전트가 다양한 역할을 수행해야 하는 문제를 다룹니다. 기존 MARL 프레임워크는 행동을 고정된 정체성에 묶어 유연한 역할 전환이 어렵다는 한계가 있습니다. 이를 해결하기 위해, 시스템 상태의 질적 변화를 나타내는 '이벤트(events)'를 트리거로 활용하여 에이전트 정체성과 행동을 분리하고, 이벤트에 반응해 행동을 구현하는 새로운 프레임워크를 제안합니다.
딥러닝을 이용한 TESS에서의 궤적 불가지성 소행성 탐지
본 논문은 머신러닝을 활용하여 TESS 데이터를 분석하고, 궤적 불가지성 소행성을 탐지하는 새로운 방법을 제시합니다. 이 방법은 스킵 커넥션이 있는 두 개의 쌓인 3D U-Net(W-Net) 구조를 사용하여 배경 노이즈를 필터링하고 움직이는 객체가 포함된 픽셀을 식별합니다. 특히, 데이터 증강 기법과 Adaptive Normalization이라는 새로운 학습 스케일링 방법을 도입하여 소행성의 속도 및 방향 변화에 강건하며, 다른 시간 영역 탐사 임무에도 적용 가능함을 보여줍니다.
랜덤 행렬 이론을 활용한 장기 지평(long-horizon) grokking 중 신경망 과적합 감지
본 논문은 학습 데이터나 테스트 데이터에 접근할 필요 없이 심층 신경망(NNs)에서 과적합의 시작점을 감지하는 새로운 랜덤 행렬 이론 기반 방법을 제시한다. 이 방법은 모델 가중치 행렬을 무작위화하여 얻은 경험적 스펙트럼 분포를 Marchenko-Pastur 분포와 비교하고, 자기 평균화를 위반하는 큰 아웃라이어인 'Correlation Traps'를 식별한다. 연구진은 이러한 Correlation Traps의 형성 및 증가가 테스트 정확도가 감소하는 동안 훈련 정확도는 높은 상태를 유지하는 'anti-grokking' 단계의 시작점을 나타냄을 보여주었으며, 이는 LLMs의 잠재적 과적합 문제를 진단할 수 있는 경험적 접근 방식을 제공한다.
흐름 맵 정책을 최적 Q-가이던스로 정렬하기
본 논문은 고도로 다중 모드 액션 분포를 가진 복잡한 제어 문제에 사용되는 생성적 정책의 높은 표현력과 그로 인한 추론 비용 문제를 해결하기 위해 '흐름 맵 정책(flow map policies)'이라는 새로운 클래스의 생성적 정책을 제안합니다. 이 정책은 기존 생성 역학을 가로지르는 임의 크기의 점프를 학습하여 빠른 액션 생성을 목표로 합니다. 실험 결과, 흐름 맵 정책(FMQ)은 로봇 조작 및 이동 작업에서 이전의 단일 단계 정책보다 평균 성공률이 21.3% 향상되는 등 최고 성능을 달성했습니다.
제어된 마르코프 체인(CMC)의 모델 기반 부트스트랩
본 논문은 비정상적이거나 이력 의존적인 제어 정책을 가진 유한 제어된 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩 방법을 제시합니다. 이는 데이터 생성 행동 정책이 알려지지 않은 오프라인 강화학습 환경에서 발생하는 문제를 해결하는 데 중점을 둡니다. 연구진은 단일 장기 사슬 레짐과 에피소드형 오프라인 RL 레짐 모두에서 제안된 전이 추정기의 분포적 일관성을 성공적으로 입증했습니다.
산불 예측을 위한 환경 적응형 선호도 최적화
본 논문은 기상 데이터 기반의 희귀하고 영향력이 큰 사건(산불 등) 예측 문제를 다루며, 이를 롱테일 분포 문제로 정의합니다. 기존 모델들이 환경 변화나 극단적 사건에 취약한 문제를 해결하기 위해 '환경 적응형 선호도 최적화(EAPO)' 프레임워크를 제안했습니다. EAPO는 $k$-최근접 이웃 검색을 통해 지역적인 데이터셋을 구성하고, 지도 학습과 선호도 최적화를 결합하여 희귀 사건에 초점을 맞춘 하이브리드 미세 조정을 수행함으로써, 환경 변화가 있는 실제 산불 예측 작업에서 높은 견고성을 입증했습니다.
높은 실현 개수를 갖는 최소 강성 그래프 학습
본 논문은 여러 개의 실현체를 가질 수 있는 높은 실현 개수를 갖는 최소 강성 그래프를 찾는 문제를 다룹니다. 기존의 전수 탐색 방식은 후보 그래프가 초지수적으로 증가하고 평가 비용이 높아 비실용적입니다. 이에 저자들은 헤네베르그 이동을 통해 최소 강성 그래프를 구성하는 강화학습(RL) 접근 방식을 제안하며, Graph Isomorphism Network와 Deep Cross-Entropy Method를 사용하여 실현 개수 불변량을 최적화함으로써 새로운 기록 경계의 그래프를 성공적으로 도출했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.