Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2125건필터 해제
부분 관측 Vlasov-Poisson 방정식에서 불안정성 제어에 대한 증명 가능한 모방 학습
본 논문은 핵융합 플라즈마 역학의 핵심 제어 문제인 Vlasov-Poisson 방정식의 불안정성 제어를 다룹니다. 특히, 이상적인 전체 상태 관측이 아닌 제한된 거시적 측정(부분 관측)만을 사용하는 실제 환경에 초점을 맞춥니다. 연구진은 이러한 부분 관측 조건 하에서도 완전 관측 전문가 정책을 추출하는 모방 학습 방법을 개발하고, 이 학습된 정책의 안정성을 수학적으로 증명합니다.
해석 가능한 속성 에너지 성능 예측 및 리모델링 시나리오 분석을 위한 게이트 다중 모달 학습
본 연구는 에너지 성능 인증서(EPC)의 한계를 극복하고 도시 규모의 신속한 건물 평가를 위해 게이트 다중 모달 학습 모델을 제안합니다. 이 모델은 EPC 표본 변수, 평가자 텍스트, 그리고 GIS에서 파생된 공간 기능(기하학, 높이 등)이라는 세 가지 이질적인 데이터 모달리티를 통합하여 표준 에너지 효율 및 환경 영향 점수를 예측합니다. 런던 웨스트민스터 사례 연구에서 높은 성능을 입증한 이 프레임워크는 리모델링 시나리오 분석에 적용 가능하며, 건물 개선의 우선순위 설정과 탄소 중립 주택 전환 계획 수립에 실질적인 근거를 제공합니다.
Graph-SND: 다중 에이전트 강화학습의 행동 다양성 측정 효율화
본 논문은 다중 에이전트 강화학습(MARL)에서 행동 이질성을 측정하는 기존의 시스템 신경 다양성(SND) 지표가 팀 규모에 따라 계산 비용이 급격히 증가하는 문제를 해결하기 위해 Graph-SND를 제안합니다. Graph-SND는 임의의 그래프 $G$ 의 에지 가중 평균을 사용하여 SND를 근사하며, 이를 통해 계산 복잡도를 획기적으로 줄이고 효율성을 높입니다. 연구진은 다양한 시나리오에서 Graph-SND가 정확성(복원), 편향 없음, 높은 집중도, 그리고 실제 적용 사례(VMAS, DiCo)에서 기존 방식 대비 월등한 속도 향상을 입증했습니다.
데이터 순서 최적화: 도메인 적응 성능 개선 (ORDERED)
본 논문은 머신러닝 배포의 주요 문제인 도메인 시프트를 해결하기 위해 새로운 확률적 분산 감소 기법을 제안합니다. 이 방법은 데이터 샘플링 순서를 최적화하여 도메인 불일치 추정 오차를 줄이는 'ORDERED' 방식을 사용합니다. 연구진은 이를 통해 기존 대비 낮은 분산을 달성하고, 실제 이미지 분류 벤치마크에서 목표 도메인 정확도를 개선했음을 입증했습니다.
이중 희소성 정규화 모델에 대한 근접 투영 (Proximal Projection)
본 기술 기사는 고차원 회귀 설정에서 예측 변수 그래프 구조를 활용하는 '이중 희소성 정규화 모델'을 제안합니다. 이 모델은 추정 계수를 잠재 변수의 합으로 분해하여 근본적인 그래프 구조에 기반한 정규화를 수행하며, L1과 L2 패널티 간의 사용자 정의 트레이드오프를 허용하는 새로운 근접 투영 기법을 도입했습니다. 특히, 제안된 투영 연산자는 고차원 데이터에서 계산 효율성을 높여 기존 방법 대비 우수한 성능과 안정성을 입증했습니다.
확률적 다중 팔트 밴디트와 에피소드 강화학습의 분포적 regret에 대한 통합 프레임워크
본 논문은 확률적 다중 팔트 밴디트(stochastic multi-armed bandits)와 에피소드 강화학습(episodic reinforcement learning)의 '분포적 regret'을 통합적으로 분석하는 새로운 프레임워크를 제시합니다. 이 연구는 모든 신뢰 수준 $\delta$에 대해 균일하게 성립하는 확률적 보장을 통해 전체 범위에서의 regret 분포를 특징지으며, 탐험 보너스를 포함한 UCBVI 스타일의 알고리즘을 제안합니다. 특히, 기대 성능과 꼬리 리스크 간의 최적 균형을 달성하는 분포적 regret 바운드를 유도하여, 기존 연구의 한계를 극복하고 중요한 이론적 결과를 최초로 확인했습니다.
예측-원인적 격차: 불가능성 정리와 대규모 신경증거
본 연구는 예측 표현 학습(predictive representation learning)에서 발생하는 '예측-원인적 격차(predictive-causal gap)'라는 구조적 한계를 보고합니다. 신경망이 시스템의 실제 동역학을 모델링하기보다 환경 자체를 추적하는 경향이 있으며, 이 격차는 차원이 증가할수록 심화됩니다. 연구진은 이러한 현상이 최적화 오류가 아닌 예측 목표의 본질적인 속성임을 증명했으며, 운영적 근접성을 통해 부분적으로 완화할 수 있지만 명시적인 시스템-환경 경계 설정 없이는 원인적 충실도를 회복하기 어렵다고 결론지었습니다.
롤아웃 패스율 제어: 이진 보상 강화학습을 정보량이 가장 높은 영역으로 유도하는 방법
본 논문은 SWE-bench 스타일의 에이전트 강화 학습에서 발생하는 컴퓨팅 비효율성 문제를 해결하기 위해 '패스율 제어' 문제로 접근합니다. 기존 방식은 편향된 롤아웃 그룹을 사용하며, 이는 정보량이 가장 높은 작동 지점(50% 패스율)으로 자원을 유도하는 것이 중요함을 밝힙니다. 이를 위해 Prefix Sampling (PS) 기법을 제안하는데, 이 방법은 성공한 트래젝토리의 시작 부분(prefix)을 재활용하여 실패 그룹에 '헤드 스타트'를 제공하고, 반대로 실패한 prefix를 성공 그룹에 '핸디캡'처럼 활용합니다. PS는 Qwen3 모델에서 상당한 속도 향상과 성능 유지/개선 효과를 입증했습니다.
무한 너비 (Infinite Width) 가 얼마나 오래 지속되는가? 긴 거리 선형 반복의 신호 전파
본 논문은 선형 반복 모델의 신호 전파를 유한 너비(finite width) 관점에서 분석하며, 기존 무한 너비 이론의 한계를 탐구한다. 연구진은 복잡 가우시안 초기화 하에서 숨겨진 상태 신호 에너지에 대한 정확한 유한 너비 공식을 도출하고, 반복 깊이($t$)와 너비($n$)가 커질 때 신호 전파를 지배하는 세 가지 스케일링 영역(subcritical, critical, supercritical)을 식별했다. 특히, 무한 너비 근사가 붕괴되는 정확한 임계적 깊이 스케일을 제시하며, 이는 반복 모델의 안정성과 초기화 방식에 대한 중요한 통찰을 제공한다.
Manifold Steering Reveals the Shared Geometry of Neural Network Representation
본 논문은 신경망 표현(Neural representations)이 지닌 복잡한 기하학적 구조가 실제 행동을 인과적으로 형성하는지 탐구한다. 연구진은 활성화 공간에서 정의된 '매니폴드 스티어링(Manifold Steering)'이라는 방법을 사용하여, 모델의 내부 표현($M_h$)을 특정 행동 매니폴드($M_y$)를 따라 조작함으로써 자연스러운 행동 궤적을 생성함을 입증했다. 이 접근 방식은 기존의 유클리드 기하학 기반 선형 스티어링이 비자연적인 결과를 초래하는 한계를 극복하고, 표현의 기하학이 원칙적인 제어를 가능하게 하는 핵심 요소임을 보여준다.
LLM 의 Junking(폐기) 문제의 난이도에 대한 연구
본 연구는 LLM이 의미 있는 지시사항 없이도 해로운 출력을 유발할 수 있는 '자연스러운 백도어(natural backdoors)'의 존재와 그 난이도를 탐구합니다. 기존 제일브레이크 공격은 명시적 프롬프트 구조에 의존하지만, 본 연구는 오직 토큰 시퀀스 최적화만으로 해로운 행동을 유도하는 문제를 'junking 문제'로 정의하고 이를 분석했습니다. 실험 결과, 이 문제는 표준 제일브레이크 공격보다 더 어렵지만, 간단한 검색 전략만으로 높은 성공률로 해결될 수 있음을 보여주어 자연스러운 백도어가 존재하며 쉽게 발견 가능하다는 점을 시사합니다.
변환된 잠재 변수 다중 출력 가우시안 프로세스 (T-LVMOGP)
T-LVMOGP(Transformed Latent Variable MOGP)는 고차원 출력 공간의 데이터셋에 적용되는 다중 출력 가우시안 프로세스(MOGPs)의 확장성 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 이 모델은 Lipschitz 정규화 신경망을 사용하여 입력과 출력 특이 잠재 변수를 임베딩함으로써 유연한 다중 출력 심층 커널을 구성합니다. 확률적 변분 추론과 결합되어, 10,000개 이상의 출력을 가진 복잡한 데이터셋에서도 높은 예측 정확도와 계산 효율성을 입증했습니다.
동적 시스템 예측을 통한 저비용 LLM 환각 검출
본 논문은 LLM의 환각(hallucination)을 검출하기 위해, LLM을 동적 시스템으로 간주하는 새로운 접근 방식을 제안합니다. 응답 벡터 시퀀스를 고차원 다양체로 투영하고 쿠포만 연산자 이론을 활용하여 사실과 환각 영역의 전이 연산자를 적합시킵니다. 이 방법은 예측 오차 기반의 미분 잔류 점수를 계산하며, 단일 샘플 패스만으로 저비용 고성능 환각 검출을 가능하게 합니다.
트랜스포머를 활용한 비선형 회귀의 In-Context 학습 이해: 주의를 피처화자로
본 논문은 트랜스포머 기반의 인-컨텍스트 학습(ICL)이 비선형 회귀 문제에 어떻게 적용될 수 있는지 탐구합니다. 기존 연구가 선형 모델에 집중된 것과 달리, 본 연구는 주의 메커니즘을 활용하여 다항식이나 스플라인 같은 넓은 함수 클래스를 포함하는 비선형 피처를 명시적으로 구성하고 이를 통해 엔드투엔드 ICL 프레임워크를 제시합니다. 나아가 컨텍스트 길이와 학습 세트 크기를 기반으로 하는 유한 샘플 일반화 오차 한계를 이론적으로 도출하고 수치적으로 검증했습니다.
시도: 광범위한 무작위 MLP 의 기대 출력 추정 효율성 개선
본 논문은 머신러닝에서 기대 손실(expected loss)을 추정하는 기존의 샘플링 기반 방법의 한계를 극복하고자 합니다. 특히 초기화된 MLP에 대해, 실제 순전파 없이도 가우스 입력에 대한 기대 출력을 효율적으로 추정하는 방법을 제안합니다. 이 방법은 각 층의 활성화 분포를 모멘트와 헤르미트 전개 같은 수학적 도구를 사용하여 근사하며, 충분히 넓은 네트워크에서 몬테 카를로 샘플링보다 훨씬 적은 계산량(FLOPs)으로 목표 MSE에 도달함을 이론적/경험적으로 입증했습니다. 나아가 이 기법이 희귀 사건의 확률 추정에도 유용하여 모델의 극단적인 위험을 관리하는 데 기여할 수 있음을 보여줍니다.
선형 연상 기억의 날카로운 용량 임계값: 승리자 취하기에서 리스트 회색까지
본 논문은 선형 기억(linear memory)이 키-값 연상을 저장할 수 있는 용량 한계를 분석합니다. 등방성 가우시안 모델에서 가장 큰 방해자를 이겨야 하는 톱-1 회색(top-1 retrieval)의 경우, 용량은 $d^2 succeq n ext{log } n$을 요구하며, 이는 '승리자 취하기' 해독의 내재적 비용임을 보여줍니다. 또한, 올바른 대상이 후보 목록 중 하나여야 하는 리스트 회색(listwise retrieval) 기준에서는 용량이 $d^2 succeq n$ 스케일을 따르며, 이 경우에 대한 정확한 점근 이론과 예측 법칙을 제시합니다.
아벨라 격자 게이지 이론의 윌슨 루프 표현에서의 그래프 신경망
본 논문은 응집 물질 및 양자 플랫폼에서 중요한 역할을 하는 아벨라 격자 게이지 모델을 위한 새로운 게이지 불변 그래프 신경망(GNN) 구조를 제안합니다. 이 GNN은 윌슨 루프와 같은 로컬 게이지 불변 입력을 사용하여 대칭성을 명시적으로 강제하고 중복 자유도를 제거하면서도 표현력을 유지합니다. 이를 통해 $\mathrm{Z}_2$ 및 $\mathrm{U}(1)$ 모델에서 정확한 전역 관측량 예측을 달성했으며, 나아가 $\mathrm{U}(1)$ 양자 링크 모델의 안정적이고 확장 가능한 반고전 시간 진화 서브루이트를 제공하여 게이지 불변 메시지 전달의 중요성을 입증했습니다.
반응성 화학용 머신러닝 원자간 퍼텐셜 (MLIP) 의 활성 학습을 위한 사전 학습 모델 표현의 획득 신호
본 논문은 반응성 화학 분야에서 머신러닝 원자간 퍼텐셜(MLIP)을 훈련할 때 발생하는 높은 비용과 데이터 부족 문제를 해결하기 위해 새로운 활성 학습(AL) 전략을 제안합니다. 연구진은 사전 학습된 MACE 포텐셜로부터 직접 유도한 두 가지 혁신적인 '획득 신호'인 유한 너비의 신경 탱젠트 커널(NTK)과 잠재 공간 특징 기반 활성화 커널을 소개했습니다. 이 신호들은 기존 방법들보다 우수한 성능을 보이며, 목표 오차를 달성하는 데 필요한 데이터를 평균적으로 38%(에너지)와 28%(힘)까지 줄여 반응성 MLIP 미세 조정의 효율성과 정확도를 크게 향상시킵니다.
Vis-NIR 화학계측학용 CNN: 모순에서 조건부 설계로
본 논문은 가시광선-근적외선(Vis-NIR) 화학계측학 분야의 딥러닝 연구에서 발견되는 CNN 설계 관련 상충되는 결론들을 분석합니다. 저자들은 이러한 모순이 방법론적 증거가 아니라, 통제되지 않은 조절 변수들로 인해 발생하는 구조적인 결과임을 주장합니다. 따라서 스펙트럼 물리학, 데이터셋 생성, 그리고 실제 배포 시나리오를 고려하여 아키텍처와 전처리 선택을 연결하는 '조건부 설계 프레임워크'를 제안하며, 이를 통해 재현 가능하고 물리적 인식이 가능한 모델 비교가 가능하도록 합니다.
혼합 곱분포 간의 총 변동 거리 계산에 관한 연구
본 논문은 n차원 이산 도메인 위의 두 혼합 곱분포 간의 총 변동 거리(Total Variation Distance, TV distance)를 근사하는 확률적 알고리즘을 제시합니다. 특히 k_1개의 곱분포를 가진 혼합 분포 P와 Q에 대해 시간 복잡도 poly((nq)^{k_1+k_2}, 1/ε) 내에 높은 정확도로 TV 거리를 추정할 수 있음을 보였습니다. 또한, Boolean 서브큐브 혼합 분포의 특수한 경우에 대해서는 결정적 알고리즘을 제공하고, 이 계산이 #P-난해임을 입증했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.