Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2125건필터 해제
복합 로그-오목 분포 샘플링을 위한 근접 경사 알고리즘
본 논문은 $\mathbb{R}^d$ 상의 복합 로그-오목 분포($\pi \propto e^{-f-g}$)에서 효율적으로 샘플링하기 위한 근접 경사(Proximal Gradient) 알고리즘을 제안합니다. 이 방법은 $f$의 기울기 평가와 $g$에 대한 제한된 가우시안 오라클(RGO) 접근 가능성을 가정하며, 총 변동 거리($\varepsilon$)에서 $\widetilde{\mathcal{O}}(\kappa\sqrt d \log^4(1/\varepsilon))$ 반복 횟수로 수렴함을 보였습니다. 또한, 이 결과를 로그-오목하지 않지만 특정 부등식(Poincaré 또는 log-Sobolev)을 만족하는 경우나 $f$가 비스무스하지만 리프시츠인 경우로 확장했습니다.
저렴한 에너지로 나아가기: 전력 유틸리티 수요 반응 프로그램용 Gymnasium 환경
본 논문은 전력 유틸리티의 수요 반응(demand response, DR) 프로그램 최적화를 위한 새로운 오픈 소스 강화학습(RL) 환경인 DR-Gym을 소개합니다. 기존 연구들이 놓치던 시장 수준의 복잡성을 포착하기 위해 설계된 이 시뮬레이터는 실제 극한 이벤트에 맞춰 보정된 레짐 스위칭 도매 가격 모델과 물리 기반 건물 수요 프로파일을 특징으로 합니다. DR-Gym은 전력 유틸리티 관점에서 훈련 및 평가가 가능하며, 구성 가능한 다중 목적 보상 함수를 제공하여 현실적이고 학습 가능한 환경을 구축합니다.
고차원 샘플 압축 (High-arity Sample Compression)
이 논문은 학습 이론의 개념을 제품 공간에 적용하는 '고차원 학습 이론'이라는 새로운 연구 분야를 다룹니다. 특히, 샘플 압축 방식의 고차원 변형을 고려하여, 비자명한 품질의 고차원 샘플 압축 방식의 존재가 곧 고차원 PAC 학습 가능성을 함의함을 수학적으로 증명합니다.
AlphaGRPO: 분해 가능한 검증 가능 보상(Decompositional Verifiable Reward)을 통한 UMM에서의 자기 성찰적
본 논문은 Group Relative Policy Optimization (GRPO)을 AR-Diffusion Unified Multimodal Models (UMMs)에 적용한 AlphaGRPO 프레임워크를 제안합니다. 이 접근 방식은 추가적인 콜드 스타트 단계 없이 멀티모달 생성 능력을 향상시키며, 모델이 사용자 의도를 추론하고 출력의 불일치를 자율적으로 수정하는 자기 성찰적 정제(Self-Reflective Refinement) 기능을 활성화합니다. 특히, 복잡한 사용자 요청을 원자적이고 검증 가능한 의미 및 품질 질문으로 분해하여 신뢰성 높은 피드백을 제공하는 '분해 가능한 검증 가능 보상(DVReward)'을 도입함으로써, 실제 세계 멀티모달 생성의 안정적인 지도를 제공합니다.
Deep Low-Rank Residual Distillation을 통한 사전 학습 가중치 잠금
본 기술 기사는 오픈 웨이트 언어 모델의 높은 품질과 개방성을 언급하며, 이를 활용한 연구 및 배포의 용이성을 설명합니다. 핵심적으로는 'Deep Low-Rank Residual Distillation'이라는 방어 기법을 소개하여, 이 방법이 완전한 지식을 가진 적응형 공격자(adaptive attackers)에 대한 방어 능력을 입증하는 동시에 원래 모델의 기능을 유지할 수 있음을 주장하고 있습니다.
신경망 가중치 노름 = 콜모고로프 복잡도
본 논문은 루프형 신경망의 최소 가중치 노름이 출력 문자열의 콜모고로프 복잡도의 로그 인자 차이에 같다는 것을 증명합니다. 이는 가중치 감쇠(weight decay)가 계산 가능한 함수에 대한 최적 사전 확률인 솔로몬오프 보편 사전 확률과 다항식 인자 차이까지 일치하는 사전을 유도함을 의미하며, 노름의 종류와 무관하게 성립하는 일반적인 경계입니다. 이 결과는 고정 정밀도(fixed precision) 환경에서만 유효하며, 신경망 가중치를 프로그램으로 인코딩하고 로그 주소 지정 오버헤드를 통해 설명할 수 있다는 두 가지 핵심 축소 과정을 활용합니다.
V4FinBench: 기업 파산 예측을 위한 테이블형 기반 모델, LLM 및 표준 방법론의 벤치마킹
V4FinBench는 기업 파산 예측이라는 고위험 금융 과제를 위한 새로운 벤치마크입니다. 이 데이터셋은 Visegràd Group (V4) 경제의 2006년부터 2021년까지의 데이터를 활용하여, 131개의 재무 및 비재무 특징과 6가지 예측 시점을 포함하는 백만 개 이상의 회사-연도 기록으로 구성되어 있습니다. 이 데이터셋은 기존 공개 데이터셋의 부족함과 한계를 극복하고, TabPFN 같은 모델이 실제 금융적 어려움 구조를 포착할 수 있도록 평가 및 개발을 지원하는 것을 목표로 합니다.
RubricEM: 검증 가능한 보상을 넘어선 루브릭 기반 정책 분해를 활용한 Meta-RL
본 연구는 깊이 있는 연구 에이전트(deep research agents)를 훈련시키는 새로운 강화학습 프레임워크인 RubricEM을 제안합니다. 기존의 검증 가능한 보상 방식으로는 복잡한 계획, 검색, 증거 평가 과정을 거치는 에이전트의 행동 경로와 경험 재사용에 한계가 있었습니다. RubricEM은 루브릭(rubric)을 단순한 최종 평가 도구가 아닌, 정책 실행, 심사 피드백, 그리고 에이전트 메모리를 구조화하는 공유 인터페이스로 활용하여 단계별 정책 분해를 가능하게 합니다.
Multi-Marginal Optimal Transport와 Schrödinger Bridges를 이용한 최적 및 확장 가능한 MAPF
본 기사는 익명 다중 에이전트 경로 찾기(MAPF) 문제를 Multi-Marginal Optimal Transport (MMOT) 문제로 재구성하고, 이를 선형 계획법(LP)으로 축소하는 방법을 제시합니다. 특히 익명 환경에 초점을 맞추어, 이 LP가 실현 가능하고 완전 단일 모듈러 조건을 만족함을 증명함으로써 공간 및 시간적으로 충돌이 없는 최소 비용의 정수 수송 경로를 효율적으로 산출할 수 있음을 보여줍니다.
jNO: 신경 연산자 및 파운데이션 모델 학습을 위한 JAX 라이브러리
jNO(jax Neural Operators)는 데이터 기반 및 물리 정보 기반 학습을 모두 통합적으로 지원하는 JAX 네이티브 라이브러리입니다. 이 라이브러리는 도메인, 모델 호출, 잔차 평가, 지도 손실 등 모든 요소를 단일 심볼릭 언어로 작성하고 하나의 최적화 파이프라인으로 컴파일할 수 있게 합니다. 이를 통해 사용자는 복잡한 연산자 회귀부터 PDE 제약 학습까지 별도의 코드 재구성을 거치지 않고 통합적인 워크플로우를 구축할 수 있습니다.
OUIDecay: 온라인 활성화 패턴을 이용한 CNN의 적응형 레이어별 가중치 감쇠
본 논문은 CNN 훈련에서 레이어별로 다른 정규화 강도가 필요하다는 점에 착안하여, 과적합-과소적합 지표(OUI)를 활용한 적응형 가중치 감쇠 스케줄러인 OUIDecay를 제안합니다. OUIDecay는 각 레이어의 활성화 패턴을 온라인으로 모니터링하고, 이 정보를 기반으로 네트워크 내 다른 레이어들과 상대적으로 가중치 감쇠를 주기적으로 재조정합니다. 이는 검증 데이터 없이도 구조적 동작에 기반한 효과적인 적응형 정규화 방법이며, 다양한 CNN 아키텍처에서 기존 방식 대비 우수한 성능을 입증했습니다.
공동 희소 코딩 및 시간 역학이 컨텍스트 재구성을 지원함
본 연구는 뇌가 다양한 환경(컨텍스트) 사이를 전환할 때 기존의 학습된 지식을 유지하며 표현을 재구성하는 신경 메커니즘에 초점을 맞추었습니다. 마우스 mPFC와 계산 네트워크 분석 결과, '공동 희소 코딩'과 '시간 역학'이 컨텍스트 전환 시 이전 표현 보존에 중요한 역할을 하는 것으로 밝혀졌습니다. 특히 이 두 가지 속성을 모두 갖춘 스파이킹 신경망은 평생 학습 동안 우수한 유지 능력을 보여주며, 이는 안정적이고 에너지 효율적인 적응 아키텍처 설계의 핵심 원리를 제시합니다.
심층 강화학습을 통한 신호등 제어의 효율성과 공정성 균형
본 논문은 기존 신호등 제어 시스템의 비효율성 문제를 해결하기 위해 심층 강화학습(DRL) 기반의 새로운 에이전트를 제안합니다. 이 에이전트는 차량과 보행자 교통 모두를 고려하여 공정성을 명시적으로 통합함으로써, 실시간 수요 변화에 따라 흐름을 동적으로 균형 있게 조정할 수 있습니다. 실험 결과는 이 시스템이 교통 혼잡을 효과적으로 줄이는 동시에 모든 도로 이용자에게 공평한 서비스를 제공함을 입증하며, 스마트 시티의 지능형 교통 관리에 기여합니다.
불규칙 다변량 시계열 분류를 위한 원스텝 그래프 구조 신경 흐름 (One-Step Graph-Structured Neural Flows)
본 논문은 불규칙 다변량 시계열 데이터의 분류를 위해 원스텝 그래프 구조 신경 흐름(GSNF)을 제안합니다. 기존 신경 흐름 모델들이 변수 간 상호작용을 충분히 포착하지 못하는 문제를 해결하기 위해, GSNF는 재초기화 기반 궤적 발산 유도와 순방향-역방향 일관성 강제를 통해 그래프 구조 학습을 강화했습니다. 실험 결과, GSNF는 효율적인 계산 자원 사용과 함께 최첨단 분류 성능을 달성하여 해당 분야의 새로운 기준을 제시합니다.
손실(Loss)을 수정하고 반지름(Radius)은 아니다: Sharpness-Aware Minimization의 적대적 교란에 대한 재고찰
본 논문은 모델의 일반화 성능 향상을 위해 사용되는 Sharpness-Aware Minimization (SAM) 기법에 대한 근본적인 재고찰을 제시한다. 기존 SAM이 1차 근사(linearized surrogate)에 의존하는 한계를 지적하며, 최적화를 곡률(curvature) 개념에 초점을 맞춘 새로운 방법인 Loss-Equated SAM (LE-SAM)을 제안한다. LE-SAM은 그래디언트 노름 중심의 학습 신호를 제거하고 곡률 지배 항으로 최적화 방향을 전환하여, 기존 SAM보다 일관되고 우수한 일반화 성능을 달성함을 입증했다.
Empty SPACE: 확산 모델의 개념 삭제를 위한 교차 어텐션 희소성
본 논문은 텍스트-이미지 확산 모델에서 특정 개념을 효과적으로 삭제하기 위한 새로운 방법인 SPACE(Sparse cross-Attention 기반 개념 삭제)를 제안합니다. 기존의 폐쇄형 개념 삭제 방법들은 대규모 아키텍처에서 성능 저하가 발생하는 문제를 해결하고자 합니다. SPACE는 교차 어텐션 파라미터를 반복적으로 수정하며 희소성을 유도하고 목표 개념을 제거함으로써, 높은 삭제 효율성과 적대적 프롬프트에 대한 강건성 향상을 동시에 달성합니다.
Piecewise-Affine 함수 및 얕은 CNN 손실에 대한 정상성 테스트의 매개변수화 복잡도
본 논문은 연속적인 Piecewise-Affine (PA) 함수의 특정 지점에서의 근사 1차 정상성 테스트의 매개변수화 복잡도를 연구한다. 이는 비평활 최적화(nonsmooth optimization) 분야에서 중요한 과제이며, PA 함수는 ReLU 기반 학습 손실의 국소 다면체 기하학을 모델링하는 표준 도구이다. 저자들은 기존 연구가 계산적으로 해결 불가능하다고 본 방향과 달리, 주변 차원 $d$를 매개변수로 사용하여 XP 알고리즘을 제시함으로써 실용적인 접근 방식을 제안한다.
분산형 SGD에서 높은 확률의 일반화(Generalization) 공개
본 기사는 분산형 확률적 경사 하강법(D-SGD)의 일반화 성능에 관한 연구입니다. 기존 연구들이 기대값 기반으로 제한된 높은 확률 일반화 경계를 제시했던 것과 달리, 본 논문은 D-SGD가 달성할 수 있는 더 강력한 높은 확률 보장치를 제안합니다. 특히, 단일 작업자(D-SGD $ o$ SGD)의 경우 최적의 높은 확률 일반화 경계가 $O( rac{1}{ ext{root}2 n} ext{log}(1/ ext{δ}))$임을 밝히며, 기존 연구와의 간극을 메우는 데 초점을 맞추고 있습니다.
Task-Aware Calibration: LLM에서 증명 가능한 최적 디코딩
본 기사는 LLM의 디코딩 과정에서 발생하는 예측 분포와 실제 생성 분포 간의 불일치 문제를 다룹니다. 기존의 일반적인 보정 방법은 자유 형식 언어라는 조합론적으로 방대한 공간에서는 정의하기 어렵다는 한계가 있습니다. 이를 해결하기 위해, 연구진은 출력이 이산 클래스 레이블, 정수 또는 집합과 같은 의미적으로 구조화된 잠재 구조를 가질 수 있다는 통찰을 바탕으로 '작업별 보정(Task-Aware Calibration)' 패러다임을 제안합니다.
인과 분포 학습을 위한 확장된 Wasserstein-GAN 접근 방식: 밀도 기반 추정 및 Minimax 최적성
본 논문은 평균 치료 효과를 넘어 분위수, 꼬리 위험 등 개입 결과 분포 전체를 추정해야 하는 '분포적 인과 추론' 문제를 다룹니다. 기존 GAN 기반 반사실 방법의 이론적 한계와 불안정한 밀도 기반 의존성을 극복하기 위해, 연구진은 GANICE(GAN for Interventional Conditional Estimation)라는 새로운 접근 방식을 제안했습니다. GANICE는 조건부 개입 분포를 명확한 인과 추정 목표로 설정하고, 확장된 Wasserstein 거리를 최소화하며 Minimax 최적성을 확보하여 기존 방법들보다 우수한 성능을 입증합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.