Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2046건필터 해제
학습의 두 가지 속도: Grokking과 Double Descent의 표현-판독 분해 (Representation-Readout
Grokking과 Double Descent 현상을 표현 학습(Encoder)과 판독 교정(Readout)의 속도 차이로 설명하는 새로운 분석 프레임워크를 제안합니다. 이 연구는 작업 불가지론적 관점에서 신경망의 일반화 역학을 진단하고 해석 가능성을 높이는 데 기여합니다.
신뢰 영역 Q-Adjoint Matching (Trust Region Q Adjoint Matching)
본 논문은 오프-폴리시 강화학습의 불안정성을 해결하기 위해 Trust Region Q-Adjoint Matching(TRQAM) 알고리즘을 제안합니다. 투영된 이중 하강을 통해 경로 공간 KL을 적응적으로 제어함으로써, 크리틱 오류로 인한 모델 붕괴를 방지하고 안정적인 미세 조정을 달성합니다.
ReMoE: 메모리 제한적인 MoE LLM 추론에서 라우터 미세 조정(Router Fine-Tuning)을 통한 전문가 재사용(Expert
메모리 제한적인 환경에서 MoE 모델의 추론 효율을 높이기 위한 ReMoE 프레임워크를 제안합니다. 라우터 미세 조정을 통해 전문가 재사용성을 높여 I/O 오버헤드를 줄이고 디코딩 속도를 크게 향상시켰습니다.
LLM은 이미 훌륭한 튜터이다: 교육적 수학 튜터링을 위한 학습이 필요 없는 프롬프트 최적화
본 연구는 RL 기반의 고비용 학습 대신 시스템 프롬프트 최적화만으로 수학 튜터링 성능을 높이는 방법을 제안합니다. 12가지 프롬프트 최적화 기법을 평가한 결과, 일부 방식이 강력한 RL 베이스라인을 능가하며 교육적 패턴 활용도가 더 높음을 입증했습니다.
상관 행렬에 대한 새로운 MCMC 기반 Wishart 사전 확률 구현을 이용한 가우시안 프로세스 (Gaussian Process) 기반 학습
가우시안 프로세스(GP)의 고차원 추론 문제를 해결하기 위해 MCMC 기반의 새로운 Wishart 사전 확률 구현 방식을 제안합니다. 룩백 윈도우를 활용한 자기 조립형 구조를 통해 커널 하이퍼파라미터 추론의 적응성을 높였습니다.
표현력이 풍부한 Flow 기반 교사로부터의 적대적 이중 온-폴리시 증류 (Adversarial Dual On-Policy
FA-OPD는 Flow Matching 교사와 MLP 학생을 공동 학습시키는 적대적 이중 온-폴리시 증류 기법을 제안합니다. 보상과 행동 채널을 통해 탐색과 활용을 동시에 최적화하여, 시연 데이터만으로도 체화된 제어 성능을 극대화합니다.
직교 데이터에서의 완만한 과매개변수화된 ReLU 네트워크: 점진적 학습 및 암묵적 편향 (Implicit Bias)
직교 데이터와 작은 초기값을 가진 2층 ReLU 네트워크의 경사 흐름 역학을 분석한 연구입니다. 초기화 규모가 작을 때 발생하는 안장점-안장점 점프 과정을 통해 뉴런이 점진적으로 활성화되는 현상을 증명했습니다.
JLT: Latent Diffusion Transformers에서의 Clean-Latent Prediction
JLT는 잠재 확산 Transformer에서 Clean-latent prediction 방식이 기존의 velocity-prediction 방식보다 효과적임을 입증합니다. 연구 결과, 깨끗한 잠재 공간을 직접 예측하는 것이 저분산 잠재 방향의 노이즈 증폭을 억제하고 모델 성능을 향상시킵니다.
GAN-Diffusion 프레임워크를 이용한 고품질 합성 금융 시계열 생성
GAN과 Diffusion 모델을 결합하여 고품질의 금융 시계열 합성 데이터를 생성하는 새로운 프레임워크를 제안합니다. C-GAN의 상관관계 모델링 능력과 Diffusion의 품질 제어 능력을 통합하여 주식 시장의 정형화된 특성을 효과적으로 재현합니다.
DEI: Quality-Diversity 탐색을 위한 진화적 추론에서의 다양성
DEI는 이질적인 LLM들을 변이 연산자로 활용하여 분산형 Quality-Diversity 탐색을 수행하는 프레임워크입니다. 모델 간의 창의적 사전 확률 차이를 활용해 단일 모델이나 균질적 앙상블보다 높은 탐색 성능과 커버리지를 달성함을 입증했습니다.
PILOT: 경계 가이드(Boundary Guidance)를 통한 실시간 시맨틱 세그멘테이션을 위한 데이터 프리(Data-Free) 지속 학습
PILOT은 실시간 시맨틱 세그멘테이션 모델의 치명적 망각 문제를 해결하기 위한 데이터 프리(Data-Free) 지속 학습 프레임워크입니다. PIDNet 모델에 병렬 미분 브랜치를 도입하여 기존 지식을 보존하면서 새로운 클래스를 효율적으로 학습합니다.
기본 전방-후방 분할 (FBS) 유도 네트워크의 심층 레이어 한계 및 안정성 분석 (II): 학습 문제
본 논문은 FBS(Forward-backward-splitting) 알고리즘에서 유도된 딥 언폴딩 신경망의 학습 문제에 대한 이론적 분석을 다룹니다. 심층 레이어 한계 시스템의 학습 문제로의 일반적 수렴 성질을 입증하고, 섭동 안정성에 대한 정성적 분석을 제시합니다.
이미지도 16x16=256개의 슈퍼픽셀로서 가치가 있는가? 어텐션 기반 이미지 분류를 위한 프레임워크
본 연구는 슈퍼픽셀 기반 이미지 분류와 Vision Transformers(ViTs)를 통합한 새로운 프레임워크인 Superpixel Transformers(SPT)를 제안합니다. SPT는 GAT를 활용하여 슈퍼픽셀의 형태와 색상 정보를 효과적으로 통합하며, 기존 GNN 방식보다 우수한 성능을 입증했습니다.
강건성(Robustness)과 정렬(Alignment)을 위한 전략적 분류(Strategic Classification)에서의 인과적
전략적 분류 상황에서 사용자의 특징 변경(adaptation)으로 인한 분포 변화 문제를 인과 모델을 통해 해결하는 연구입니다. 인과적 분류가 최악의 OOD 위험을 제한하고, 기관과 사용자 간의 장기적 인센티브 정렬을 가능하게 함을 이론적·경험적으로 입증했습니다.
FoundObj: 레이블 없는 3D 객체 분할을 위한 보상으로서의 자기지도 학습 기반 파운데이션 모델 (Foundation Models)
FoundObj는 인간의 주석 없이 포인트 클라우드에서 3D 객체를 분할하는 새로운 프레임워크를 제안합니다. 2D/3D 파운데이션 모델의 의미론적 및 기하학적 정보를 활용한 자기지도 학습 기반의 보상 모듈을 통해 객체 발견 성능을 극대화했습니다.
대규모 오디오-언어 모델(LALM)에서 청취 중 사고 시점을 학습하는 방법
LALM의 실시간 스트리밍 상호작용을 개선하기 위해 '대기-사고-답변(wait-think-answer)' 제어 공식을 제안합니다. DAPO 최적화 기법을 통해 답변 정확도를 높이면서도 불필요한 추론 지연 시간을 단축하는 학습 방법을 다룹니다.
모든 토큰이 동일하게 중요하지는 않다: 긴 형식의 의료 보고서 생성을 위한 결정적 토큰 감독 기반의 동적 인컨텍스트 벡터 증류 (Dynamic
긴 형식의 의료 보고서 생성 시 발생하는 토큰 수준의 정보 불균형 문제를 해결하기 위한 DIVE 프레임워크를 제안합니다. 결정적 토큰 감독과 동적 스티어링 메커니즘을 통해 콘텐츠 충실도와 정확한 문장 종료를 보장합니다.
이진법을 넘어: 인지 점수 계층 구조에 따른 음성 표현 (Speech Representations)
경도 인지 장애(MCI) 진단을 위해 음성 표현과 인지 평가 계층 구조 간의 관계를 연구했습니다. SSL 임베딩과 수작업 음향 특징을 비교하여 과제 특성에 따른 성능 변화를 분석했습니다.
데이터 협업 분석을 위한 커널 방법을 통한 비선형 데이터 통합
기존 선형 변환 기반의 데이터 협업 분석이 가진 재구성 위험과 정렬 문제를 해결하기 위해 비선형 커널 통합(NKI) 방법을 제안합니다. NKI는 커널 리지 회귀와 그래프 정규화를 통해 다운스트림 분석에 유용한 기하학적 정보를 보존하며 높은 정확도를 제공합니다.
잠재 반복 정제(Latent Iterative Refinement)를 통한 심볼릭 회귀(Symbolic Regression)
심볼릭 회귀의 분할 상환 격차를 해소하기 위해 잠재 방정식 임베딩(LEE) 프레임워크를 제안합니다. 잠재 공간 내에서 반복적인 정제 과정을 통해 데이터에 부합하는 더 단순하고 정확한 수학식을 찾아냅니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.