Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2000건필터 해제
고정된 Universal Transformers
입력 임베딩을 통해 특정 클래스의 모든 트랜스포머를 시뮬레이션할 수 있는 고정된 'Universal Transformers'를 제안합니다. 무작위로 초기화된 트랜스포머도 충분한 임베딩 차원을 가지면 보편성을 가질 수 있음을 이론적, 실증적으로 증명합니다.
무작위 실험에서 종단적 처치 효과의 효율적 추정을 위한 공변량 전이 모델링
정적 체제 하의 무작위 실험에서 종단적 처치 효과를 효율적으로 추정하기 위한 새로운 회귀 조정 프레임워크를 제안합니다. 전이 커널을 통해 동적 궤적을 모델링하며, 통계적 추론의 정규성과 효율성 경계를 확립하여 실질적인 분석 이점을 입증했습니다.
DRIFT: 효율적인 다회차 최적화를 위한 분리된 롤아웃 및 중요도 가중치 미세 조정
DRIFT는 다회차 상호작용 환경에서 LLM을 효율적으로 최적화하기 위한 새로운 프레임워크입니다. 온라인 강화학습의 높은 비용과 오프라인 SFT의 분포 변화 문제를 해결하기 위해 롤아웃과 최적화 과정을 분리하여 구현했습니다.
Balanced LoRA: 수렴 속도를 높이기 위한 파라미터 불변성 제거
LoRA의 과잉 매개변수화로 인해 발생하는 조건수 차이가 수렴 속도에 미치는 영향을 분석합니다. 이를 해결하기 위해 가중치 행렬을 균형 잡힌 매니폴드로 투영하는 BaLoRA 기법을 제안하여 수렴 속도와 성능을 개선했습니다.
LLM 사후 학습을 위한 보상된 섭동의 통합 (Consolidating Rewarded Perturbations for LLM
LLM 사후 학습 시 가중치 공간의 섭동을 활용하는 RandOpt의 한계를 극복하기 위한 CoRP 연구를 소개합니다. CoRP는 앙상블 대신 보상된 모델들을 하나의 모델로 통합하는 그래디언트 프리(gradient-free) 연산자로, 추론 비용을 낮추면서도 성능을 크게 향상시킵니다.
그래피컬 einops: 텐서 네트워크와 계산 그래프의 가교
einops의 기반이 되는 텐서 프로그래밍을 위한 공식적인 그래피컬 계산법을 제안합니다. 텐서 축을 중첩된 등급 튜브로 표현하여 다이어그램을 통한 수학적 증명을 가능하게 하며, 이를 통해 등변성 증명과 희소 어텐션 구현의 효율성을 높입니다.
할당 및 추가: 구성적 산술에 대한 기계론적 연구
본 논문은 트랜스포머 모델이 학습 데이터에서 보지 못한 변수와 숫자의 조합을 처리하는 구성적 일반화 메커니즘을 연구합니다. 변수 할당과 모듈형 덧셈 과정을 분석하여, 특정 MLP 모듈이 공통적으로 사용됨을 밝히고 학습 역학의 3단계를 제시합니다.
대리 가능도 추정기를 이용한 확장 가능한 추론 시간 어닐링 (Scalable Inference-Time Annealing with
분자의 볼츠만 분포를 효율적으로 샘플링하기 위한 새로운 방법론인 SITA를 제안합니다. 에너지 기반 모델을 활용해 기존 방식의 복잡한 발산 계산 문제를 해결하고, 대규모 시스템에서도 확장 가능한 추론 시간 어닐링을 구현했습니다.
임베딩 모델은 어떻게 개념을 결합(Binding)하는가?
CLIP과 같은 시각-언어 임베딩 모델이 객체의 속성을 결합하는 방식의 한계를 분석합니다. 연구 결과, CLIP은 개념을 개별적으로 인식하는 '개념 주머니' 방식으로 동작하며, 낮은 복잡도의 곱셈적 상호작용을 학습할 때 체계적인 일반화가 가능함을 밝힙니다.
멀티모달 예측은 언제 생물학적으로 뒷받침되는가? 진단적 평가 프레임워크
종양학 분야 멀티모달 모델이 실제 생물학적 특징을 학습했는지, 아니면 가짜 상관관계를 학습했는지 진단하는 DECAT 프레임워크를 소개합니다. 이 모델 불가지론적 프레임워크는 교란 요인에 대한 사전 지식 없이도 멀티모달 표현을 네 가지 시나리오로 분류합니다.
희소 오토인코더(SAE)에서의 활성화 이상치(Activation Outliers)와 특징 사멸(Feature Death) 간의 관계에 대하여
희소 오토인코더(SAE)에서 발생하는 '특징 사멸(feature death)' 현상이 활성화 이상치로 인해 발생함을 규명한 연구입니다. 활성화 평균과 정렬 방식에 따라 특정 특징이 영구적으로 비활성화되는 메커니즘을 분석하고, 평균 중심화(Mean-centering)를 통한 해결책을 제시합니다.
Chem-PerturBridge: 소분자 섭동 전사체 효과의 조화로운 요약집
Chem-PerturBridge는 파편화된 소분자 섭동 전사체 데이터를 통합한 대규모 다중 데이터셋 리소스입니다. 37,000개 이상의 화합물과 125만 개의 샘플을 표준화하여 제공하며, 화합물 표현 학습을 위한 사전 학습 리소스로서 뛰어난 성능을 입증했습니다.
슈퍼마팅게일 인증서로서의 가치 함수 (Value Functions as Supermartingale Certificates)
확률적 시스템의 $\omega$-정규 속성 만족 여부를 결정하기 위해 가치 함수를 슈퍼마팅게일 인증서로 활용하는 새로운 이론적 연결 고리를 제시합니다. 강화학습의 정책이 명세를 만족한다는 형식적 보장을 제공하며, 유한 및 무한 상태 공간 모두에 적용 가능한 경로를 구축합니다.
문법 기반 심볼릭 회귀 (Symbolic Regression)를 통한 열역학적으로 허용 가능한 소산 퍼텐셜 (Dissipation
비탄성 재료의 구성 방정식을 위해 열역학적 법칙을 준수하는 심볼릭 회귀 프레임워크를 제안합니다. 문법 기반의 합성 방식을 통해 볼록성과 비음성 조건을 보장하며, 실험 데이터에서도 기존 모델보다 우수한 성능을 입증했습니다.
카오스 대리 모델링에서의 동적-확률적 일관성 격차 (The Dynamic-Probabilistic Consistency Gap in
카오스 시스템의 대리 모델링 시 발생하는 동적-확률적 일관성(DPC) 격차를 규명하고, 이를 해결하기 위한 KAFFEE 프레임워크를 제안합니다. KAFFEE는 확장 칼만 필터를 활용하여 역학적 불변량 재구성을 개선하고 제로샷 역학 보존을 가능하게 합니다.
수술 전 컴퓨터 단층촬영(CT)을 이용한 수술 후 췌장 누공의 자동 예측
수술 전 CT 스캔을 활용하여 수술 후 췌장 누공(POPF) 발생 위험을 자동으로 예측하는 딥러닝 파이프라인을 제안합니다. 췌장 분할부터 분류까지 이어지는 엔드 투 엔드 프로세스를 통해 다양한 3D CNN 아키텍처의 성능을 검증했습니다.
유전자 발현 마스킹을 통한 효과적인 생물학적 표현 학습
RNA 시퀀싱 데이터의 노이즈와 배치 효과 문제를 해결하기 위해 새로운 자기지도 학습 모델인 TxFM을 제안합니다. 마스크 오토인코딩 방식을 통해 고충실도 유전자 표현을 학습하며, 큐레이션된 데이터셋을 통해 기존 대규모 모델보다 뛰어난 성능을 입증했습니다.
함수적 어텐션 (Functional Attention): 쌍별 친밀도에서 함수적 대응 관계로
기존 Transformer의 토큰 단위 어텐션 한계를 극복하기 위해, 어텐션을 적응형 기저 간의 함수적 대응 관계로 재해석한 Functional Attention을 제안합니다. 이 방식은 전역적 함수 구조를 포착하며 해상도 불변성을 가진 표현을 생성합니다.
센서에 목소리를 부여하기: 의미론적 시계열 임베딩을 위한 멀티모달 JEPA
다변량 시계열 데이터를 위한 새로운 표현 학습 모델인 CHARM을 소개합니다. JEPA 아키텍처와 텍스트 설명을 결합하여 센서 데이터의 의미론적 임베딩을 생성하며, 노이즈에 강건하고 해석 가능한 성능을 제공합니다.
KLIP: 역문제(Inverse Problems)에서 확산 사전 확률(diffusion priors)과 KL-divergence를 이용한
확산 모델의 사전 확률과 사후 분포 사이의 KL-divergence를 활용하여 역문제 상황에서 OOD를 탐지하는 KLIP 지표를 제안합니다. 이 방식은 별도의 교정 데이터 없이도 이미지 내 국소적인 분포 변화를 효과적으로 탐지하고 위치를 찾아낼 수 있습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.