Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2046건필터 해제
Dark Quest II: 확장된 우주론에 걸친 비선형 물질 파워 스펙트럼의 광범위한 신경망 에뮬레이터
DarkEmulator2는 9차원 우주론적 파라미터 공간 내 비선형 물질 파워 스펙트럼을 예측하는 신경망 에뮬레이터입니다. 보조량을 입력값으로 활용하여 일반화 성능을 높였으며, 저해상도 데이터를 통해 광범위한 커버리지를 확보하면서도 고해상도 수준의 정확도를 유지합니다.
Self-Attention의 거울에 비친 PLS
본 논문은 부분 최소 제곱(PLS)을 선형화된 Self-Attention 메커니즘으로 투영하여 분석합니다. 이를 통해 PLS의 차원 축소 및 변수 선택 과정이 Self-Attention의 차원 정규화 방식과 유사할 수 있음을 시사합니다.
Transformer가 Chain-of-Thought를 내재화하는 방식에 대한 이론적 증명
Transformer가 명시적인 추론 단계 없이 은닉 상태 내에 Chain-of-Thought를 내재화하는 방식에 대한 이론적 분석을 제공합니다. Log-ICoT 커리큘럼을 통해 추론 오버헤드를 제거하면서도 샘플 효율성을 유지하며 학습할 수 있음을 증명합니다.
경사 하강법 (Gradient Descent)을 이용한 곱 네트워크 (Product Networks) 기반 고차원 패리티 함수 (Parity
고차원 패리티 함수 학습의 어려움을 해결하기 위해 컴팩트한 곱 기반 신경망 아키텍처를 제안합니다. 확률적 데이터 희소성과 적절한 하이퍼파라미터 설정을 통해 대규모 차원에서도 효율적인 수렴과 이론적 보장을 입증했습니다.
무작위 프로세스 플로우 매칭 (Random Process Flow Matching): 다변량 무작위 장 (Multivariate Random
본 연구는 희소한 측정값으로부터 암시적 신호 표현을 학습하는 '무작위 프로세스(RP) 플로우 매칭' 프레임워크를 제안합니다. Random Fourier Features와 앙상블 샘플링을 결합하여 고차원 및 고희소성 환경에서도 정확한 불확실성 추정과 고품질 샘플 생성이 가능함을 입증했습니다.
해석 가능성이 불평등하게 분배될 때: 하이브리드 해석 가능 모델에서의 공정성
하이브리드 해석 가능 모델에서 특정 인구 통계 그룹이 블랙박스 모델로 불균형하게 라우팅되는 공정성 문제를 다룹니다. 새로운 지표인 ICD를 제안하고, 제약 조건을 통해 정확도 손실 없이 해석 가능성 격차를 줄일 수 있음을 입증했습니다.
섭동된 심층 행렬 분해에서의 암묵적 규제화: 스펙트럼 조건 및 안정성
노이즈가 포함된 심층 행렬 분해 상황에서 경사 하강법의 저계수 암묵적 규제화 안정성을 연구한 논문입니다. 스펙트럼 조건에 따른 저계수 단계의 존재를 도출하고, 섭동이 수렴과 고유값 복구에 미치는 영향을 정량적으로 분석했습니다.
훈련이 필요 없는 RLVR 데이터 선택을 위한 단일 롤아웃 은닉 상태 역학 (Single-Rollout Hidden-State Dynamics)
RLVR 강화학습의 데이터 선택 병목 현상을 해결하기 위해 훈련 없이 은닉 상태 변화량(RIRS)을 활용하는 SHIFT를 제안합니다. 단일 롤아웃만으로 데이터의 유용성을 파악하여 효율적인 코어셋을 생성하며, 수학 및 의료 분야에서 우수한 성능을 입증했습니다.
지수적으로 감쇠하는 메모리를 통한 Attention 보강이 Query-Aware KV Sparsity를 개선함
RAT+ 연구를 통해 지수적으로 감쇠하는 메모리가 Query-Aware KV Sparsity를 어떻게 개선하는지 분석합니다. Quest, SnapKV 등 기존 희소 어텐션 방식보다 높은 정확도를 보임을 검증했습니다.
부분 공간 투영(Subspace Projection)에 대한 해석 가능성 기반 계층 선택: 원시 작업 벡터 모델 편집을 위한
Gemma-3-4B-IT를 대상으로 SAE를 활용한 모델 편집 연구를 수행하여, 작업 벡터를 SAE 부분 공간에 투영할 때 발생하는 정보 병목 현상을 규명했습니다. SAE를 직접적인 편집 도구가 아닌 계층 진단 도구로 활용함으로써 수학적 추론 성능을 유의미하게 향상시키는 새로운 프레임워크를 제안합니다.
생물학적 시스템의 역학 예측을 위한 시계열 그래프 학습의 응용
본 연구는 정적인 파운데이션 모델의 한계를 극복하기 위해 시계열 그래프 학습을 활용하여 세포의 시간적 진화 과정을 모델링합니다. 유전자 조절 네트워크를 진화하는 그래프 구조로 표현함으로써, 기존 모델보다 뛰어난 유전자 발현 및 조절 역학 예측 성능을 입증했습니다.
합성 데이터 생성(Synthetic Data Generation)을 위한 활성화 스티어링(Activation Steering): 다운스트림
활성화 스티어링(Activation Steering)을 활용하여 안전 탐지 모델 학습을 위한 고품질 합성 데이터를 생성하는 연구를 다룹니다. 스티어링 강도가 높아질수록 응답의 다양성이 감소함을 발견했으며, 성공성, 일관성, 다양성의 조화 평균이 다운스트림 성능과 높은 상관관계를 보임을 입증했습니다.
점진적 특이값 분해(iSVD)를 통한 이력 인식 적응형 차수 축소 모델
점진적 특이값 분해(iSVD)를 활용하여 온라인 동역학 변화에 적응하는 차수 축소 모델(ROM) 프레임워크를 제안합니다. 이 모델은 이력 인식 특성을 통해 기존 방식보다 높은 예측 정확도와 계산 효율성을 보여줍니다.
강화학습을 위한 최적의 데이터 수집: 대편차(Large Deviations) 관점
무한 시계 강화학습 환경에서 데이터 수집 효율성을 극대화하기 위한 대편차(Large Deviations) 프레임워크를 제안합니다. 정책 선택 오류 확률의 지수적 감소율을 지표로 사용하여 최적의 데이터 수집 정책을 도출하는 이론적 방법론과 알고리즘을 다룹니다.
최적의 릿지 규제화(Ridge Regularization) 재고
유한 데이터 샘플과 가법적 등방성 노이즈 환경에서 릿지 회귀의 최적 규제화 강도를 계산하는 반복 절차를 제안합니다. 제안된 방법은 다양한 데이터 조건에서도 근사 최적의 일반화 성능을 보이며 수렴성이 증명되었습니다.
양자 상태 분포에 대한 보편적 근사 도구로서의 잠재 조건부 매개변수화 양자 회로 (Latent-Conditioned Parameterized
양자 상태 앙상블을 효율적으로 생성하기 위한 하이브리드 양자-고전 프레임워크인 LPQC를 제안합니다. 잠재 변수를 양자 회로 매개변수에 매핑하여 양자 분포를 보편적으로 근사할 수 있음을 증명했습니다.
임의의 축약 순서 및 부정확한 활성화 함수 구현을 가진 부동 소수점 신경망의 표현력
본 연구는 실제 구현 환경인 유한 정밀도 부동 소수점 산술 하에서의 신경망 표현력을 분석합니다. 임의의 축약 순서와 부정확한 활성화 함수 구현을 포함하는 일반화된 실행 의미론을 도입하여, 다양한 실제 활성화 함수들의 보편적 표현 가능성을 증명합니다.
인컨텍스트 지속 학습 (In-Context Continual Learning)에서의 일반화와 망각에 대한 이해
본 연구는 LLM이 프롬프트 내에서 순차적인 작업을 수행할 때 발생하는 인컨텍스트 지속 학습의 메커니즘을 분석합니다. 어텐션 메커니즘이 작업 간 간섭을 유발하여 일반화와 망각에 미치는 영향을 이론적 프레임워크로 규명합니다.
확산 모델(Diffusion Models)을 이용한 제로샷 역문제(Zero-shot Inverse Problems)에서의 단계별 왜곡-지각 탐색
확산 모델을 활용하여 제로샷 역문제에서 왜곡과 지각 품질 사이의 트레이드오프를 조절하는 MAP-RPS 프레임워크를 제안합니다. MAP 추정 단계와 재노이즈 후험 샘플링 단계를 통해 왜곡 성능과 시각적 품질을 단계적으로 탐색할 수 있습니다.
VLA가 서로 다르게 실패하는 방식: 블랙박스 동작 모니터링을 통한 아키텍처별 실패 시그니처 규명
VLA(Vision-Language-Action) 아키텍처별로 발생하는 실패 방식이 근본적으로 다름을 규명한 연구입니다. VQ-BeT, Diffusion Policy, ACT 모델을 비교 분석하여 아키텍처 특성에 맞는 모니터링 전략의 필요성을 입증했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.