Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG (Machine Learning) 112건필터 해제
데이터 필터링에 대한 쓰라린 교훈
본 연구는 대규모 모델 사전 학습 시 고품질 데이터만을 선별하는 필터링 작업의 효용성을 조사합니다. 실험 결과, 충분한 연산량(compute)이 뒷받침된다면 필터링을 하지 않는 것이 오히려 더 나은 성능을 보이며, 대규모 모델은 저품질 데이터로부터 오히려 이득을 얻을 수 있음을 시사합니다.
재사용을 멈춰야 할 때: 샘플 효율적인 RLVR을 위한 동적 그래디언트 게이팅 (Dynamic Gradient Gating)
RLVR(검증 가능한 보상을 이용한 강화학습) 과정에서 샘플 재사용 시 발생하는 정책 변화와 성능 저하 문제를 해결하기 위한 새로운 방법론을 제안합니다. 연구팀은 lm_head의 가중치 변화가 급증하는 '불균형적 가중치 발산(DWD)' 현상을 발견하였으며, 이를 기반으로 해로운 그래디언트를 실시간으로 차단하는 동적 그래디언트 게이팅(DGG) 기술을 개발했습니다.
지속적 모델 병합(Continual Model Merging)의 잠재력 해제: ODE 관점에서의 접근
지속적 모델 병합(CMM) 과정에서 발생하는 성능 저하와 망각 문제를 해결하기 위해 ODE(상미분 방정식) 관점의 새로운 접근법인 ODE-M을 제안합니다. 기존 방식이 모델을 고립된 점으로 취급하는 한계를 넘어, 모드 연결성을 기반으로 손실 장벽을 피하며 파라미터 공간의 최적 경로를 추적합니다. 실험 결과, ODE-M은 주요 CMM 벤치마크에서 기존 모델들을 뛰어넘는 최첨단 성능을 입증했습니다.
다수결이 틀렸을 때, 테스트 시간 강화학습 (Test-Time Reinforcement Learning)의 개입 타이밍은 소멸
테스트 시간 강화학습(TTRL)이 다수결 방식을 사용할 때 발생하는 오염 문제를 지적하며, 잘못된 정답에 고착되는 '정답 소멸 창(Correct-Answer Extinction Window)' 현상을 분석합니다. 이를 해결하기 위해 플립 비율(Flip Rate)을 기반으로 위험한 업데이트를 제어하는 경량 프레임워크인 TTRL-Guard를 제안합니다. 실험 결과, TTRL-Guard는 Qwen 모델 시리즈에서 기존 TTRL 대비 AIME 2025 기준 54%의 성능 향상을 달성했습니다.
동차 신경망 (Homogeneous Neural Networks) 내 Mirror Flow의 암묵적 편향: 희소 및 밀집 특징 학습
동차 활성화 함수를 사용하는 심층 신경망에서 mirror flow가 도달하는 최대 마진 솔루션과 그 특성을 연구한 논문입니다. 볼록 쌍대성을 통해 새로운 균형 방정식을 도출하고, mirror map이 신경망의 수렴 속도와 학습된 특징(희소 또는 밀집 표현)의 기하학적 구조에 미치는 영향을 규명했습니다.
사전 학습 배당금의 정량화: 시계열 파운데이션 모델을 위한 생성적(Generative) 대 잠재적(Latent) 자기지도
본 연구는 시계열 파운데이션 모델을 위한 자기지도 학습(SSL)의 가치인 '사전 학습 배당금'을 정량화하기 위한 프레임워크를 제안합니다. 생성적 패러다임과 잠재 정렬 아키텍처를 비교 분석한 결과, SSL은 이상 탐지 및 분류 작업에서 큰 이득을 주지만 예측 작업에서는 효과가 미미함을 발견했습니다. 이는 작업의 목적에 따라 필요한 신호 해상도와 정밀도-불변성 간의 트레이드오프가 존재함을 시사합니다.
샘플링 기반 안전 강화학습 (Sampling-Based Safe Reinforcement Learning)
본 논문은 강화학습 에이전트의 실제 환경 배포를 가로막는 안전한 탐색 문제를 해결하기 위해 샘플링 기반 안전 강화학습(SBSRL) 알고리즘을 제안합니다. SBSRL은 유한한 동역학 샘플 집합에 대해 제약 조건을 강제함으로써 불확실한 환경에서도 실질적인 안전 보장을 제공하며, 인식론적 불확실성을 제약하는 전략을 통해 별도의 탐색 보너스 없이도 효율적인 탐색을 가능하게 합니다.
핵심 토큰 어텐션 기반 시드 선택을 통한 텍스트-이미지 확산 모델의 성능 향상
텍스트-이미지 확산 모델의 결과물이 무작위 시드에 민감하게 반응하는 문제를 해결하기 위해, 프롬프트 핵심 토큰의 어텐션 역학을 활용한 ABSS(Attention-Based Seed Selection) 방식을 제안합니다. ABSS는 별도의 미세 조정 없이 추론 단계에서 핵심 토큰에 대한 크로스 어텐션을 분석하여 최적의 시드를 선택하며, 이를 통해 이미지 품질과 프롬프트 정렬 성능을 향상시킵니다.
침묵의 하이퍼파라미터: 추론 백엔드(Inference Backends)가 LLM 재현성에 미치는 영향 정량화
본 연구는 LLM 평가 시 추론 백엔드(Inference Backends)가 결과의 재현성에 미치는 영향을 정량적으로 분석합니다. vLLM, SGLang, llama.cpp 등 다양한 엔진을 테스트한 결과, 백엔드 선택만으로 벤치마크 점수가 최대 16.6%포인트까지 차이 날 수 있음을 확인했습니다. 연구진은 이러한 차이가 커스텀 CUDA 커널 및 시스템 최적화에서 기인한다고 밝히며, LLM 평가 시 추론 스택을 표준화하여 보고할 것을 권고합니다.
생성 모델의 학습 및 암기 현상에 대한 역학계 관점의 분석
본 논문은 생성 모델에서 발생하는 암기(memorization) 현상을 역학계(dynamical systems) 관점에서 분석하여 시스템 이론적 설명을 제공합니다. SGD(stochastic gradient descent)의 두 가지 시간 척도 역학 및 붕괴(collapse) 현상을 결합하여, 학습 과정 중 모델이 유사한 출력을 반복 생성하는 메커니즘을 수학적으로 규명합니다.
심층 신경망 (DNN)을 위한 증명 가능한 공정성 복구 (Provable Fairness Repair)
심층 신경망(DNN)의 윤리적 편향 문제를 해결하기 위해 증명 가능한 공정성 보장을 제공하는 새로운 프레임워크인 ProF를 제안합니다. ProF는 구간 경계 전파(IBP) 기술을 활용하여 편향된 샘플 주변의 전체 집합에 대한 모델 출력을 포착하고, 이를 혼합 정수 선형 계획법(MILP) 문제로 변환하여 공정성을 복구합니다. 실험 결과, ProF는 높은 일반화 성능과 함께 약 90%의 공정성 개선 효과를 입증하였습니다.
사후적 위임 학습 (Post-Hoc Learning to Defer)을 위한 밀도비 손실 (Density-Ratio Losses)
본 논문은 사후적 위임 학습(Learning to Defer, L2D)을 이상적인 데이터 분포 간의 밀도비(density-ratio) 관점에서 재정의하고 연구합니다. 밀도비 추정을 클래스 확률 추정(CPE)으로 변환하여 재학습 없이도 위임률을 조정할 수 있는 DR CPE 손실 함수를 제안하며, 실험을 통해 기존 베이스라인 대비 높은 견고성을 입증했습니다.
협력적 공중-지상 핸드오버 임무를 위한 학습 가속 최적화 기반 궤적 계획
본 논문은 UAV와 UGV 간의 협력적 핸드오버 임무를 위해 학습 기반의 궤적 계획 프레임워크를 제안합니다. LSTM 기반의 신경망 대리 플래너를 사용하여 중앙 집중식 최적화 도구에 웜 스타트(warm starts)를 제공함으로써 계산 비용을 획기적으로 줄였습니다. 실험 결과, 기존 방식 대비 3배 이상의 속도 향상과 100%의 최적화 성공률을 기록하며 실시간 적용 가능성을 입증했습니다.
온라인 마켓 메이킹과 호가창(Order Book) 관찰의 가치
본 연구는 트레이더의 개인적 가치 평가를 학습하며 매수 및 매도 가격을 제시하는 온라인 마켓 메이킹 문제를 다룹니다. 기존의 검열된 피드백 모델과 달리, 거래 미발생 시 수요와 공급 정보를 제공하는 행동 의존적 피드백 모델을 도입하여 학습 가능성의 변화를 분석했습니다. 이를 통해 확률적 및 적대적 설정 모두에서 후회(regret) 상한을 달성하는 알고리즘을 제안하며 호가창 관찰의 가치를 입증했습니다.
HiLiftAeroML: 고양력 항공기 공력 연구를 위한 고충실도 전산유체역학 (CFD) 데이터셋
고양력 항공기 공력 연구를 위한 최초의 오픈 소스 고충실도 CFD 데이터셋인 HiLiftAeroML을 소개합니다. NASA CRM 형상의 180가지 변형과 10가지 받음각을 포함하여 총 1,800개의 샘플로 구성되었으며, GPU 가속 기반의 Wall-modeled LES 방식을 통해 높은 정확도를 확보했습니다.
치과 임상 환경 내 난류 나노입자 분산을 위한 물리 정보 기반 그래프 신경망 대리 모델
치과 시술 중 발생하는 에어로졸 입자의 확산을 실시간으로 예측하기 위해 물리 정보 기반 그래프 신경망 모델인 ELGIN을 제안합니다. 기존 CFD 시뮬레이션의 느린 속도를 극복하여, 입자의 운동과 유동 역학을 결합하여 기존 방식보다 약 37배 빠른 속도로 정확하게 예측할 수 있습니다.
설명 가능한 앙상블 트리(Explainable Ensemble Trees)의 재구성 품질 평가를 위한 일련의 발산 측정법(Divergence
본 논문은 앙상블 학습기의 해석 가능한 대리 모델을 검증하기 위해, 단순 상관관계를 넘어 내부 표현의 일치성을 측정하는 새로운 통계적 프레임워크를 제안합니다. 정규화된 해석 가능성 손실(nLoI)을 중심으로 노드 내/간 구성 요소로 분해 가능한 네 가지 발산 측정법을 통해 재구성 실패 원인을 정밀하게 진단합니다. E2Tree(Explainable Ensemble Trees) 맥락에서 개발된 이 방식은 기존 상관관계 기반 방식이 놓치는 재구성 충실도의 미세한 차이를 효과적으로 탐지합니다.
비선형 역문제 해결을 위한 확산 그래프 사후 샘플링: 전기 임피던스 단층 촬영(EIT)에 대한 적용
본 논문은 비정형 메쉬 구조를 가진 전기 임피던스 단층 촬영(EIT)의 역문제를 해결하기 위해 확산 사후 샘플링(DPS)을 그래프 구조로 확장한 새로운 프레임워크를 제안합니다. 2D 삼각형 메쉬 상에서 점수 기반 확산 모델을 학습하고, 명시적 규제 항을 추가한 RDPS 모델을 통해 물리적으로 타당한 재구성 성능을 입증했습니다. 기존 최첨단 솔버 대비 노이즈에 강하며, 다양한 기하 구조에서도 뛰어난 일반화 성능을 보여줍니다.
Besov 공간에서의 Lévy Adaptive B-spline 회귀의 사후 수축 (Posterior Contraction)
본 연구는 B-spline 커널을 LARK 모델에 통합한 베이지안 비모수적 방법인 LABS 회귀 모델의 점근적 특성을 분석합니다. LABS 모델은 Besov 공간 내의 실제 함수가 가진 불규칙한 특성에 적응하며, 로그 인자를 제외하면 미니맥스 최적 속도로 사후 분포가 수축함을 이론적으로 입증했습니다.
선형 쿼리(Linear Queries)를 통한 최적 재구성
본 연구는 근사적인 선형 쿼리를 사용하여 $\mathbb{R}^d$ 공간 내의 미지의 점을 재구성하는 문제의 최적 오차를 규명합니다. 쿼리 횟수, 차원, 노이즈 파라미터에 따른 재구성 오차의 수렴성을 분석하며, 특히 차원이 고정된 경우 초과 오차가 이중 지수적으로 빠르게 감소함을 증명합니다. 또한 Jung의 정리를 일반화하여 근사적 극한체를 규명하는 기하학적 방법론을 제시합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.