Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 1862건필터 해제
얼마나 낮출 수 있는가? 초저데이터 한계에서의 희소 모델 발견을 위한 능동 학습 (Active Learning)
초저데이터 환경에서 복잡한 동적 시스템의 지배 방정식을 식별하기 위한 능동 학습(Active Learning) 전략을 제안합니다. E-SINDy를 활용해 불확실성을 추정하고 유익한 샘플링 영역을 우선순위화하여 데이터 효율성을 극대화합니다.
개별 행동의 암시적 신경 표현 (Implicit Neural Representations of Individual Behavior)
라벨이 없는 다중 정책 행동 데이터에서 정책 표현을 학습하는 Behavioral INR을 제안합니다. 시각 분야의 암시적 신경 표현(INR)을 행동 분야로 확장하여, 상태를 후속 행동으로 매핑하는 상태-행동 함수를 통해 정책 정체성을 추론합니다.
설명가능성(Explainability)을 훈련 시간 신뢰도 신호로 활용한 효율적인 심전도(ECG) 분류
심전도(ECG) 분류의 효율성을 높이기 위해 설명가능성(Explainability)을 훈련 신호로 활용하는 ERTS 기법을 제안합니다. Grad-CAM을 통해 모델의 예측이 일관된 패턴에 기반하는지 측정하여, 정보가 유용한 샘플을 우선적으로 학습함으로써 훈련 비용을 줄이고 성능을 개선합니다.
양자 오컴 학습 (Quantum Occam Learning): 회로 기반 양자 학습을 위한 샘플 지원 표현력 (Sample-Supported
양자 기계 학습에서 회로의 표현력과 샘플 수 사이의 관계를 규명하는 '양자 오컴 학습' 이론을 제안합니다. 유한한 샘플을 통해 학습 가능한 회로 복잡도의 한계를 정보 이론적으로 증명하여, 회로 복잡도를 적응형 통계 자원으로 정의합니다.
MLT-Dedup: 다중 레벨 표현 및 시공간 매칭을 통한 효율적인 대규모 온라인 비디오 중복 제거
MLT-Dedup는 다중 레벨 표현과 시공간 매칭을 활용하여 대규모 온라인 비디오의 중복을 효율적으로 제거하는 프레임워크입니다. 미세 프레임 임베딩과 희소 클립 임베딩을 결합하여 검색 효율성과 매칭 정밀도를 동시에 높였습니다.
Liquid Neural Network 학습 가속화를 위한 다중 속도 전문가 혼합 (Multi-Rate Mixture of Experts) 방식
다변량 시계열 데이터의 복잡한 시간적 의존성을 해결하기 위해 Liquid Neural Networks 기반의 MR-MoE 프레임워크를 제안합니다. 여러 전문가 모델이 서로 다른 시간 척도에서 작동하여 이질적인 역학을 효과적으로 분리하고 모델링합니다.
강화학습 (RL)이 경사 기반 적대적 최적화 (Gradient-Based Adversarial Optimization)를 방해하다
강화학습(RL)이 경사 기반 적대적 공격을 방해하는 메커니즘을 연구한 논문입니다. RL이 암묵적 정규화제로 작용하여 경사 방향의 불안정성과 크기 감소를 유도함으로써 공격의 효율성을 떨어뜨림을 입증했습니다.
Masked Diffusion Language Models에서의 Confidence Remasking 재평가
Masked Diffusion Language Models(dLLMs)의 성능 향상을 위한 사후 신뢰도 기반 remasking 기법을 재평가한 연구입니다. 실험 결과, 특정 디코딩 설정에서 기존 방식 대비 이점이 적으며, 비탐욕적 디코딩 시에는 다양성 붕괴를 악화시킬 수 있음을 확인했습니다.
AI를 위한 시장 설계: 저작권 이분법을 넘어서
본 논문은 AI 모델 훈련용 콘텐츠 시장 설계의 어려움을 다루며, 기존의 공정 이용 기반 '자유방임'과 강력한 지식재산권 기반 접근 방식 모두 실패함을 보여줍니다. 특히 창작자가 혁신적일수록 오히려 인센티브가 약화되는 '독창성 페널티'와 모델 성능 저하를 유발하는 '정밀도의 저주' 같은 시장 실패 현상을 분석합니다.
FP8 품질 한계를 8비트 가중치 및 활성화로 유지하기: Ideogram 4.0의 INT8 및 GGUF 후 학습
Ideogram 4.0 모델을 대상으로 FP8 없이도 높은 품질을 유지하는 INT8(W8A8) 및 GGUF 양자화 기법을 연구했습니다. SmoothQuant와 혼합 정밀도 보호를 통해 소비자용 GPU에서도 성능 저하 없이 효율적인 실행이 가능함을 입증했습니다.
점진적 크기 기반 가지치기를 통한 단일 학습 주기 내 희소 서브네트워크 찾기
본 연구는 반복적인 학습 주기를 필요로 하는 기존의 가지치기 방법론의 대안으로, 점진적 크기 기반 가지치기(progressive magnitude-based pruning)를 제안합니다. 이 방법은 단일 주기 내에서 희소성을 점진적으로 증가시키며 활성 가중치 크기에 기반하여 마스크를 업데이트합니다. 실험 결과, CIFAR-10 및 MNIST 데이터셋에서 LTH, SNIP 등 기존 방식 대비 우수한 성능을 보여주었습니다.
최적화 유도 연산자를 갖는 유전 알고리즘에 대한 수학적 관점
본 논문은 머신러닝 최적화 문제에 적용되는 유전 알고리즘(GA)의 연산자(돌연변이, 재조합)를 수학적으로 분석합니다. 기존의 무작위 연산자와 달리, ML 기반 연산자는 목적 함수 개선을 목표로 하며 높은 계산 비용을 가집니다. 연구진은 이를 질의 복잡도 문제로 공식화하고, 해답 풀 내 다양성의 역할을 포착하는 알고리즘 프레임워크를 제시합니다.
CCKS: 합의 기반 통신 및 지식 공유
본 논문은 협력적 다중 에이전트 강화학습(MARL)의 지식 공유 문제를 해결하기 위해 합의 기반 통신 및 지식 공유(CCKS) 프레임워크를 제안합니다. CCKS는 에이전트들이 합의된 제약 조건에 따라 추천을 채택하여, 기존 방식의 과도한 자문 의존성을 줄이고 안정적인 성능 향상을 이끌어냅니다.
표준 해석 가능 모델(SIM): 라그랑지안 역학을 이용한 해석 가능한 방법론의 연역적 설계에 대한 일반 이론
라그랑지안 역학을 기반으로 해석 가능한 모델을 연역적으로 설계할 수 있는 일반 이론인 SIM(Standard Interpretable Model)을 제안합니다. SIM은 해석 가능성의 전제 조건을 체계화하여 기존 방법론의 한계를 극복하고 새로운 연구 방향을 제시합니다.
VLA에게 무엇을 말할지 배우기: 대부분 무해한 Vision Language Action Model 스티어링
VLA(Vision-Language-Action) 모델의 로봇 제어 성능을 높이기 위해 대화형 언어 피드백 정책(LFP)을 제안하는 연구입니다. 모델 미세 조정 없이도 언어 스티어링을 통해 작업 성공률을 높이며, 컨포멀화(conformalize) 기술로 해로운 개입을 방지합니다.
연속적인 연산자 학습을 위한 In-Context Operator 활용 (Chain of Operators)
신경 연산자의 일반화 성능 한계를 극복하기 위해 In-Context Operator(ICON)를 활용한 새로운 프레임워크인 Chain of Operators(CHOP)를 제안합니다. CHOP는 파라미터 업데이트 없이 고정된 ICON과 기본 변환의 체인을 구축하여 OOD 연산자 작업에서도 높은 성능을 보여줍니다.
Atlas H&E-TME: 전문가 병리학자 수준의 정확도를 가진 확장 가능한 AI 기반 조직 프로파일링
Atlas H&E-TME는 H&E 염색 조직 슬라이드에서 세포 수준의 정량적 분석을 수행하는 AI 기반 파운데이션 모델 제품군입니다. IHC 기반 검증 프레임워크를 통해 전문가 병리학자 수준의 정확도를 확보했으며, 다양한 암 유형에 대해 확장 가능한 조직 프로파일링을 제공합니다.
후처리(Post-Training)의 해부학: 해석 가능성을 활용하여 데이터 특성화 및 학습 신호 형성하기
본 논문은 언어 모델 후처리(Post-Training)가 스칼라 보상 최적화에 크게 의존하여 데이터의 학습 과정을 투명하게 파악하기 어렵다는 문제를 지적합니다. 이를 해결하기 위해 해석 가능성 프로토콜을 활용하여 선호/비선호 데이터를 개념 수준에서 분리하고, 데이터 중심의 후처리 파이프라인을 제안합니다. 이 방법은 모델이 목표를 벗어난 학습을 완화하고 원하는 속성을 정교하게 형성하는 데 도움을 줍니다.
누락된 모달리티를 위한 잠재 세계 복구 (Latent World Recovery) 기반 멀티모달 학습
본 논문은 누락된 모달리티가 존재하는 환경에서의 멀티모달 학습을 위한 Latent World Recovery (LWR) 프레임워크를 제안합니다. LWR는 각 모달리티의 임베딩을 공유 잠재 공간에 정렬하고, 실제로 사용 가능한 모달리티만을 융합하여 통합 표현을 구성하는 것이 핵심입니다. 이를 통해 부분 관찰 환경에서도 강력한 멀티모달 예측이 가능함을 입증했습니다.
Subquadratic 아키텍처에 관하여: 응용 분야에서 원리까지
본 논문은 계산 비용이 높은 Transformer의 이차 어텐션 문제를 해결하기 위해 Subquadratic 아키텍처를 비교 분석했습니다. xLSTM, Mamba-2, Gated DeltaNet 세 가지 접근 방식을 코드 모델 사전 학습, LLM 증류, 시계열 모델링 등 복잡한 작업에 적용하여 평가했습니다. 그 결과, xLSTM이 가장 강력하고 안정적인 성능을 제공함을 입증하며, 이는 상태 추적 및 메모리 역학 덕분이라고 결론지었습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.