Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2052건필터 해제
Winfree 진동 신경망 (Winfree Oscillatory Neural Network)
Winfree 진동 신경망(WONN)은 진동 역학 및 동기화 원리를 활용하여 토러스 상에서 표현을 진화시키는 새로운 동적 신경망 구조를 제안합니다. 이 모델은 이미지 인식부터 복잡한 논리 추론까지 다양한 작업에서 뛰어난 파라미터 효율성을 보여주며, 특히 ImageNet-1K 규모까지 확장 가능한 최초의 동기화 기반 진동 구조입니다.
DASH: 단일 GPU에서 몇 분 만에 수행하는 하이브리드 어텐션(Hybrid Attention)을 위한 빠른 미분 가능한 아키텍처 탐색
DASH는 하이브리드 어텐션 아키텍처 설계를 위해 제안된 빠르고 미분 가능한 탐색 프레임워크입니다. 이산적인 레이어별 연산자 배치를 연속적인 아키텍처 로짓으로 완화하여 탐색 효율성을 극대화했으며, 단일 GPU에서 단 20분 만에 최적의 아키텍처를 찾아낼 수 있습니다. 기존 Jet-Nemotron 방식 대비 훨씬 적은 토큰을 사용하면서도 더 강력한 성능을 입증했습니다.
유병률 변화(Prevalence Shift) 하의 Conformal Triage에서 방출 측 위험(Release-Side Risk)에 대한
유병률 변화(Prevalence Shift) 상황에서 Conformal Triage 시스템이 타겟 이벤트를 가진 환자를 검토 없이 방출하는 위험을 분석합니다. 이를 해결하기 위해 누출 인지 배포 감사(leakage-aware deployment audit)를 도입하여 유병률 교정, Conformal 보정, 홀드아웃 안전성 평가를 분리 수행함으로써 시스템의 안전성을 정밀하게 검증합니다.
재질 조건부 그래프 네트워크 시뮬레이터를 위한 포인트 클라우드 시퀀스 인코딩
본 연구는 재질 파라미터에 의존하는 기존 그래프 네트워크 시뮬레이터(GNS)의 한계를 극복하기 위해, 포인트 클라우드에 인컨텍스트 학습을 적용한 PEACH 프레임워크를 제안합니다. PEACH는 새로운 시공간 포인트 클라우드 시퀀스 인코더를 통해 학습되지 않은 물리적 속성에도 적응할 수 있으며, 메쉬 재구성 없이도 정확한 제로샷 심투리얼 전이를 가능하게 합니다.
디스패치 연산의 오버헤드 진단: 교차 아키텍처 관측소
MoE(Mixture-of-Experts) 모델의 전문가 병렬성(EP)에서 발생하는 AlltoAll 디스패치 병목 현상을 분석하기 위해 DODOCO 프레임워크를 도입했습니다. 연구 결과, 기존의 완화 방식들이 전제하던 라우팅 불균형 교정 가능성과 모의 토큰 벤치마크의 정확성이 실제 환경에서는 유효하지 않음을 입증했습니다. 특히 모델 아키텍처에 따라 라우팅 패턴이 특정 밴드로 나뉘는 현상을 발견하여, 새로운 설계 방향을 제시합니다.
Transformer의 일반화에 대한 더 명확한 관점
본 연구는 불리언 도메인 상에서 Transformer의 일반화 동작을 푸리에 스펙트럼 관점에서 분석합니다. PAC-Bayes 이론을 활용하여 저차 성분에 집중된 희소 스펙트럼이 낮은 샤프니스(low-sharpness) 구조를 형성하고, 이것이 우수한 일반화 성능으로 이어진다는 것을 증명합니다.
잠재 가우시안 프로세스 (Latent Gaussian Process) 및 최적 운송 (Optimal Transport)을 이용한 시계열
단일 세포 RNA 시퀀싱 데이터에서 시간적 과정을 추론하기 위해 잠재 이분산 가우시안 프로세스(Latent Heteroscedastic GP)와 최적 운송(Optimal Transport)을 결합한 새로운 생성 프레임워크를 제안합니다. 이 방법은 세포별 잠재 시간과 세포 유형을 통합하여 생물학적 이질성과 시간적 비동기성을 효과적으로 분리하며, 복잡한 보간 및 외삽 작업에서 뛰어난 성능을 보여줍니다.
Bellman 재귀를 넘어: 비지수적 할인 (Non-Exponential Discounting)을 위한 Pontryagin 가이드 프레임워크
기존 강화학습의 Bellman 재귀 방식은 비지수적 할인(Non-exponential discounting) 상황에서 구조적 한계를 보입니다. 본 논문은 이를 해결하기 위해 Pontryagin 최대 원리와 Monte Carlo 롤아웃을 결합한 PG-DPO 프레임워크를 제안하여, 비지수적 할인 환경에서도 높은 정확도와 안정성을 확보했습니다.
TanDEM-X 및 Landsat 데이터를 활용한 산림 높이 추정을 위한 하이브리드 머신러닝 모델
TanDEM-X 간섭성 결맞음 데이터를 활용한 산림 높이 추정 모델의 물리적 모호성을 해결하기 위해 Landsat 광학 데이터를 결합한 하이브리드 머신러닝 모델을 제안합니다. 가봉 로페 국립공원 데이터를 통해 검증한 결과, 기존 모델 대비 RMSE 13.5%, MAE 16.6%의 오차 감소를 달성하며 다중 분광 데이터의 유효성을 입증했습니다.
악마의 변호인 역할 수행: 기성 페르소나 벡터(Persona Vectors)가 아첨(Sycophancy) 억제를 위한 타겟팅
본 연구는 모델이 사용자의 의견에 무조건 동조하는 '아첨(Sycophancy)' 현상을 억제하기 위해, 별도의 학습 없이 기존의 페르소나 벡터(Persona Vectors)를 활용하는 방안을 제안합니다. 의구심이나 정밀 조사를 특징으로 하는 페르소나로 모델을 스티어링할 경우, 기존의 CAA 방식과 유사한 수준으로 아첨을 줄이면서도 사용자가 옳을 때의 정확도는 유지할 수 있음을 확인했습니다.
$k$-최근접 이웃 (k-Nearest Neighbors) 분류를 위한 효율적인 Banzhaf 기반 데이터 가치 평가
본 연구는 k-최근접 이웃(kNN) 분류기에서 데이터의 기여도를 정량화하는 Banzhaf 지수 계산의 높은 복잡도 문제를 해결하기 위한 효율적인 알고리즘을 제안합니다. kNN의 국소성 특성을 활용하여 동적 계획법 기반의 정확한 알고리즘을 개발하였으며, 가중 및 비가중 kNN 각각에 대해 계산 성능을 획기적으로 개선했습니다.
거의 모든 것을 조건으로 하는 가우시안 프로세스 (Conditioning Gaussian Processes on Almost Anything)
가우시안 프로세스(GP)와 선형 확산 모델 간의 등가성을 확립하여, 비선형 물리 법칙이나 LLM을 통한 자연어 등 다양한 조건에서도 예측 샘플링이 가능한 새로운 프레임워크를 제안합니다. 이 방식은 GP의 추론 과정을 상미분 방정식(ODE)으로 재구성하여, 복잡한 조건부 확률 모델링을 범용적으로 수행할 수 있게 합니다.
근사 회로 설계를 위한 Transformer 기반 변이 연산자를 이용한 유전 프로그래밍 (Genetic Programming)
본 논문은 근사 산술 회로의 자동 설계를 위해 Transformer 기반의 새로운 변이 연산자를 적용한 데카르트 유전 프로그래밍(CGP) 방식을 제안합니다. 제안된 하이브리드 방식은 진화 과정의 정체를 방지하며, 학습된 Transformer를 통해 기존 EvoApproxLib의 최적화된 설계보다 더 우수한 성능의 근사 곱셈기를 생성합니다.
인과적 표현 학습과 전통적 표현 학습 간의 대화: 통합된 정식화를 통한 상호 이익을 향하여
본 논문은 인과적 표현 학습(CRL)과 전통적 표현 학습 간의 격차를 해소하기 위해 작업 구성 요소와 제약 구성 요소로 이루어진 통합된 정식화를 제안합니다. 이를 통해 CRL은 잠재 제약의 유용성을 이론적으로 이해하고, 전통적 표현 학습은 실질적인 작업 설계와 목적 함수 선택에 대한 통찰을 얻는 상호 보완적 관계를 구축하고자 합니다.
쌍방향 모달리티(Pairwise Modalities) 환경에서의 멀티모달 거대 언어 모델 (MLLMs)
본 연구는 다방향 정렬 데이터셋 구축에 필요한 막대한 인적 노력을 줄이기 위해, 오직 쌍방향 모달리티(pairwise modalities) 데이터만을 활용하여 MLLM을 학습하는 새로운 프레임워크를 제안합니다. 제안된 방법론은 잠재 표현 정렬과 교차 모달 재구성의 두 단계로 구성되며, 이론적 분석을 바탕으로 공유된 잠재 공간을 학습합니다. 실험 결과, 3D 포인트 클라우드와 촉각 모달리티를 추가했을 때 강력한 교차 모달 성능을 입증하였습니다.
MNAR 상황에서 숨겨진 혼란 변수가 존재할 때의 강건한 개인화 추천
본 논문은 MNAR(Missing Not At Random) 상황에서 숨겨진 혼란 변수로 인해 발생하는 추천 시스템의 선택 편향 문제를 해결하기 위한 새로운 프레임워크 PUID를 제안합니다. 기존의 전역 민감도 경계 방식이 가진 균일성 가정의 한계를 극복하기 위해 사용자-아이템 수준의 민감도 경계를 추정하며, 적대적 최적화와 BPUID 모델을 통해 강건성과 예측 정확도를 동시에 확보했습니다.
Divide et Calibra: 벡터 양자화 (Vector Quantization)를 통한 다중 클래스 지역 보정 (Multiclass
본 논문은 다중 클래스 머신러닝 모델의 보정(calibration) 문제를 해결하기 위해 벡터 양자화(Vector Quantization)를 활용한 새로운 구성적 접근 방식을 제안합니다. 기존의 전역적 방식이나 정보 손실이 발생하는 지역적 방식의 한계를 넘어, 표현 공간을 구조적으로 분할하고 영역별 보정 맵을 구축함으로써 잠재 공간의 희소한 영역에서도 높은 일반화 성능을 보여줍니다.
시퀀스 분류 (Sequence Classification)를 위한 자기 사전 학습 (Self-Pretraining) 이해를 향하여
Amos et al. (2024)의 연구를 바탕으로 시퀀스 분류를 위한 자기 사전 학습(Self-Pretraining, SPT)의 효과를 분석합니다. 연구 결과, SPT는 레이블 지도(Label Supervision)가 학습하기 어려운 유용한 어텐션 패턴을 마스크된 토큰 예측을 통해 먼저 형성함으로써 모델의 최적화를 돕는 것으로 나타났습니다.
SpectralEarth-FM: 다중 모달 지구 관측 사전 학습에 초분광 이미지를 도입하기
SpectralEarth-FM은 초분광 이미지(HSI)와 다중 분광 이미지(MSI), SAR 등 이질적인 지구 관측 데이터를 통합하여 학습할 수 있는 계층적 트랜스포머 모델입니다. 연구진은 다양한 우주 기반 센서 데이터를 결합한 SpectralEarth-MM 데이터셋을 구축하였으며, JEPA 스타일의 목적 함수를 통해 다중 센서 간의 표현을 일치시켰습니다. 실험 결과, 초분광 및 표준 지구 관측 벤치마크 모두에서 최첨가(SOTA) 성능을 달성했습니다.
AIMBio-Mat: 폐쇄 루프 재료 발견 및 생물 의학적 전환을 위한 AI 네이티브 FAIR 플랫폼
AIMBio는 재료 발견과 생물 의학적 전환을 가속화하기 위해 설계된 AI 네이티브 FAIR 플랫폼 프레임워크입니다. 이 플랫폼은 지식 그래프, 불확실성 인지 머신러닝, 인간 참여형 능동 학습을 결합하여 파편화된 데이터를 감사 가능하고 실행 가능한 워크플로로 통합합니다. 특히 약물 전달용 나노 재료 개발을 위한 파일럿 사례를 통해 제약 조건이 있는 다목적 최적화 문제를 해결하는 청사진을 제시합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.