Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2052건필터 해제
중첩 상태의 표현 매니폴드(Representation Manifolds) 탐색
본 논문은 중첩 상태의 표현 매니폴드를 탐색하기 위한 지도 학습 방법론인 'Manifold Probe'를 제안합니다. 이 방법은 선형 회귀 프로브를 일반화하여 모델의 표현 공간 내에서 해석 가능한 특징 공간을 학습하며, Llama 2-7b 모델을 통해 시간 및 공간 개념을 선형적으로 나타내는 매니폴드를 성공적으로 발견했습니다.
연합 마팅게일 사후 샘플링 (Federated Martingale Posterior Sampling)
연합 베이지안 신경망에서 사전 분포 설정의 어려움을 해결하기 위해 마팅게일 사후 분포 개념을 도입한 FMP(Federated Martingale Posterior) 샘플링 기법을 제안합니다. 클라이언트가 소량의 데이터 임베딩을 업로드하면 서버가 중앙에서 예측 샘플러를 실행하는 일회성 병렬 프로토콜을 통해 데이터 공유 없이도 높은 성능을 구현합니다. 실험 결과, MNIST 및 CIFAR 데이터셋에서 중앙 집중식 방식과 유사한 성능과 기존 베이스라인 대비 우수한 교정(calibration) 성능을 입증했습니다.
자기지도 국소 학습 규칙이 고차원 데이터의 숨겨진 계층적 구조를 학습하는 방법
본 연구는 뇌가 고차원 감각 입력을 추상화하는 원리를 규명하기 위해, 인공 데이터셋인 Random Hierarchy Model(RHM)을 사용하여 생물학적으로 타당한 국소 학습 규칙의 효용성을 조사했습니다. 연구 결과, 직접적인 피드백 신호를 사용하는 방식은 입력 특이적 비선형성 구현 실패로 인해 계층적 구조 학습에 한계를 보였습니다. 반면, 층별 자기지도 대조 또는 비대조 손실 함수를 사용하는 방식은 역전파만큼 효율적이면서도 피질의 시냅스 가소성 규칙과 호환되며 계층적 구조를 성공적으로 학습함을 입증했습니다.
scHelix: 명시적 유전자 수준 얽힘 해제를 통한 비대칭 이중 스트림 통합
scHelix는 단일 세포 RNA 시퀀싱(scRNA-seq) 데이터 통합 시 발생하는 배치 효과 제거와 생물학적 신호 보존 사이의 상충 관계를 해결하기 위한 새로운 프레임워크입니다. 유전자를 도메인 불변 앵커와 도메인 민감 변이체로 명시적으로 분리하여 처리하는 비대칭 이중 스트림 구조를 통해 과도한 교정을 방지합니다. Align-Refine-Fuse 프로토콜을 사용하여 생물학적 클러스터의 무결성을 유지하면서도 강력한 배치 효과 제거 성능을 보여줍니다.
S2Aligner: 희소 텍스트 속성 그래프를 위한 쌍 효율적 및 전이 가능한 사전 학습
S2Aligner는 텍스트 정보가 부족하거나 노이즈가 있는 희소한 텍스트 속성 그래프(TAGs)를 위해 제안된 새로운 사전 학습 프레임워크입니다. 의미론적 정렬과 구조적 모델링을 분리하여 텍스트의 희소성 문제를 해결하고, 교차 도메인 리스크 균형을 통해 도메인 간 전이 성능을 극대화합니다.
결과가 올바르게 보이지만 규율이 실패할 때: 숨겨진 경쟁자 상태 하에서의 Trace 기반 평가
결과 중심의 평가 방식이 에이전트의 행동 규율 위반을 감지하지 못하는 문제를 지적하며, 새로운 'Trace 기반 평가' 패러다임을 제안합니다. 호텔 가격 책정 및 예산 입찰 환경 실험을 통해, 보상 중심의 학습이 비즈니스 KPI는 달성하더라도 숨겨진 경쟁자 상태에 대응하는 행동 규율을 놓칠 수 있음을 증명했습니다.
PACE: 단일 세포 궤적 추론을 위한 기하학 인지 브리지 수송 (Geometry-Aware Bridge Transport)
PACE는 파괴적인 시계열 스냅샷으로부터 단일 세포의 연속적인 궤적을 추론하기 위한 새로운 프레임워크입니다. 비등방성 리만 메트릭과 신경망 브리지를 활용하여 세포 간의 비동기적 발달 문제를 해결하고, 기하학적으로 일관된 연속 시간 속도장을 복구합니다. 실험 결과, 기존 베이스라인 대비 재구성 성능을 크게 향상시켰으며 RNA-velocity 정렬 능력도 입증되었습니다.
대칭 유도 이동(Symmetry-Induced Shifts) 하에서의 물리 정렬 정준 등변 푸리에 신경 연산자 (Physics-Aligned
본 연구는 편미분 방정식(PDE)의 해를 근사할 때 지배 방정식의 대칭성을 보존하지 못하는 기존 신경 연산자의 한계를 극복하기 위해 PACE-FNO를 제안합니다. Lie-algebra 좌표 추정기를 사용하여 입력 프레임을 참조 프레임으로 정렬한 뒤 FNO를 적용하고 다시 복원하는 방식을 통해, 물리적 대칭성을 강제하고 일반화 성능을 높였습니다. 실험 결과, Burgers 및 Navier-Stokes 방정식 등에서 기존 방식 대비 분포 외(OOD) 오차를 최대 12배까지 줄이는 성과를 보였습니다.
심층 신경망에서의 점별 일반화 (Pointwise Generalization)
본 연구는 심층 신경망의 일반화 원리를 설명하기 위해 점별 일반화 이론(pointwise generalization theory)을 구축합니다. 레이어별 특징 표현의 고윳값을 활용한 점별 리만 차원(pointwise Riemannian Dimension)을 통해, 기존 방식보다 훨씬 정교하고 타이트한 일반화 경계를 도출합니다.
Randomized Advantage Transformation (RAT): 직접 역전파를 통한 Natural Policy Gradients
본 논문은 Fisher matrix 추정 및 역행렬 계산의 높은 비용 문제를 해결하기 위해 직접 역전파를 활용하는 Randomized Advantage Transformation (RAT) 방법을 제안합니다. Woodbury formula와 randomized block Kaczmarz iterations를 사용하여 정규화된 natural policy gradients를 효율적인 vanilla policy gradients 형태로 변환합니다. 실험 결과, RAT는 기존 자연 경사 방법론과 대등하거나 우수한 성능을 보이면서도 구현이 간단하고 다양한 아키텍처에 적용 가능함을 입증했습니다.
고전적 모멘텀 가속을 이용한 미니 배치 SGD에서의 완벽한 병렬화
본 연구는 미니 배치 SGD에서 고전적 모멘텀(Classical Momentum)이 최적화에 미치는 영향을 이론적으로 규명합니다. 보간 영역 내 이차 함수 최적화 프레임워크를 통해 heavy ball 및 Nesterov 스타일의 모멘텀을 분석하며, 미니 배치 크기에 비례하는 가속 효과를 입증하여 하드웨어의 완벽한 병렬화를 가능하게 합니다.
CATA: 충돌 회피형 태스크 산술을 통한 지속적 머신 언러닝 (Continual Machine Unlearning)
본 연구는 시각-언어 모델(VLM)에서 개인정보 보호 및 저작권 문제를 해결하기 위해 순차적인 삭제 요청을 처리하는 '지속적 머신 언러닝' 기술을 제안합니다. 제안된 CATA 방법론은 각 망각 요청을 태스크 벡터로 변환하고, 부호 인식 충돌 회피 집계를 통해 이전의 망각 효과가 약화되는 것을 방지합니다. 실험 결과, CATA는 기존 방식보다 망각의 효과성, 모델의 유용성 보존, 그리고 망각의 지속성 측면에서 모두 우수한 성능을 입증했습니다.
무해해 보이는 법 배우기: API Import 주입을 통한 악성코드 탐지기의 표적 회피
본 논문은 머신러닝 기반 악성코드 탐지기가 정적 특징에 의존한다는 점을 이용해, 특정 Win32 API Import를 추가함으로써 악성코드를 무해한 소프트웨어 카테고리로 오분류하게 만드는 공격 기법을 제안합니다. CVAE 기반의 프레임워크를 통해 기존 악성코드의 기능을 보존하면서도 최소한의 API 추가만으로 탐지율을 급격히 낮출 수 있음을 입증했습니다.
제약 조건이 있는 머신러닝을 위한 확률적 패널티-장벽 방법 (Stochastic Penalty-Barrier Methods)
본 논문은 비볼록, 비매끄러운 확률적 환경에서 제약 조건을 준수하며 학습할 수 있는 '확률적 패널티-장벽 방법(SPBM)'을 제안합니다. 지수적 이중 평균화와 모로 포락선 등을 활용하여 기존 최적화 기법의 한계를 극복하였으며, 대규모 제약 조건 환경에서도 효율적인 성능을 입증했습니다.
그래프 레이블 선택을 위한 근사 알고리즘
그래프 레이블 선택(Graph Label Selection) 문제에서 예산 제약 조건 하에 나머지 정점의 레이블을 정확히 예측할 수 있는 $k$개의 정점을 선택하는 새로운 근사 알고리즘을 제안합니다. 기존의 자원 증강 방식이나 증명 불가능한 휴리스틱과 달리, 본 논문은 최초로 $\tilde{O}(\log^{1.5} n)$ 근사 성능을 보장하는 알고리즘을 제시합니다. 또한, 제안된 알고리즘의 변형들이 대규모 그래프에서도 효율적으로 확장 가능하다는 점을 입증했습니다.
정렬된 학습 (Aligned Training): Sparse Autoencoders (SAE)의 특징 품질과 안정성을 향상시키는 파라미터 프리
Sparse Autoencoders(SAEs)의 고질적인 문제인 죽은 특징(dead features)과 학습 불안정성을 해결하기 위해 파라미터 프리 방식인 '정렬된 학습(aligned training)'을 제안합니다. 인코더와 디코더 사이의 내적을 1로 강제하는 기하학적 제약을 통해 추가적인 하이퍼파라미터 없이도 재구성 품질과 안정성을 크게 향상시킵니다.
입장 표명: 가중치 공간 (Weight Space)은 생성형 AI의 일급 데이터 모달리티 (First-Class Modality)가 되어야 한다
본 논문은 신경망 체크포인트를 단순한 결과물이 아닌, 지식이 인코딩된 '일급 데이터 모달리티'로 취급해야 한다고 주장합니다. 가중치 공간에서의 생성 모델링을 통해 파인튜닝 비용을 획기적으로 절감하고, 모델을 최적화하는 대신 가중치 분포에서 샘플링하는 새로운 패러다임으로의 전환을 제안합니다.
Pocket Foundation Models: TFM을 CPU 기반 Gradient-Boosted Trees로 증류하기
고성능 정형 데이터 파운데이션 모델(TFM)을 CPU 기반의 Gradient-Boosted Trees(XGBoost, CatBoost)로 증류하여 추론 속도를 획기적으로 개선하는 방법을 제안합니다. 층화된 Out-of-Fold(OOF) 레이블링을 통해 인컨텍스트 학습 모델의 레이블 유출 문제를 해결함으로써, CPU 환경에서도 교사 모델 성능의 96.5%를 유지하며 최대 860배의 속도 향상을 달성했습니다.
아키텍처보다 데이터 제시가 중요하다: Tabular Foundation Models를 이용한 신용 위험 예측을 위한 재샘플링 전략
신용 부도 예측과 같은 정형 데이터 학습에서 Tabular Foundation Models(TFMs)의 성능은 모델 아키텍처보다 컨텍스트 윈도우를 구성하는 샘플링 전략에 더 큰 영향을 받습니다. 연구 결과, 균형 잡힌 샘플링(balanced sampling)을 통해 구축된 컨텍스트가 모델 종류보다 AUC-ROC 성능 향상에 더 결정적인 역할을 함을 확인했습니다.
차분 프라이버시가 적용된 연합 학습(Differentially Private Federated Learning)의 통계적 한계 및 효율적인
본 연구는 차분 프라이버시(DP)가 적용된 연합 학습 환경에서 추정 정확도, 프라이버시 제약, 통신 비용 간의 트레이드오프를 분석합니다. 기존 FedAvg의 편향 문제와 FedSGD의 높은 통신 비용 문제를 해결하기 위해 FedHybrid와 FedNewton이라는 새로운 방법론을 제안합니다. 또한, 제안된 방법들의 성능을 평가하기 위해 MSE에 대한 유한 샘플 상한과 미니맥스 하한을 수학적으로 도출하였습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.