Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2125건필터 해제
대칭 유도 이동(Symmetry-Induced Shifts) 하에서의 물리 정렬 정준 등변 푸리에 신경 연산자 (Physics-Aligned
본 연구는 편미분 방정식(PDE)의 해를 근사할 때 지배 방정식의 대칭성을 보존하지 못하는 기존 신경 연산자의 한계를 극복하기 위해 PACE-FNO를 제안합니다. Lie-algebra 좌표 추정기를 사용하여 입력 프레임을 참조 프레임으로 정렬한 뒤 FNO를 적용하고 다시 복원하는 방식을 통해, 물리적 대칭성을 강제하고 일반화 성능을 높였습니다. 실험 결과, Burgers 및 Navier-Stokes 방정식 등에서 기존 방식 대비 분포 외(OOD) 오차를 최대 12배까지 줄이는 성과를 보였습니다.
심층 신경망에서의 점별 일반화 (Pointwise Generalization)
본 연구는 심층 신경망의 일반화 원리를 설명하기 위해 점별 일반화 이론(pointwise generalization theory)을 구축합니다. 레이어별 특징 표현의 고윳값을 활용한 점별 리만 차원(pointwise Riemannian Dimension)을 통해, 기존 방식보다 훨씬 정교하고 타이트한 일반화 경계를 도출합니다.
Randomized Advantage Transformation (RAT): 직접 역전파를 통한 Natural Policy Gradients
본 논문은 Fisher matrix 추정 및 역행렬 계산의 높은 비용 문제를 해결하기 위해 직접 역전파를 활용하는 Randomized Advantage Transformation (RAT) 방법을 제안합니다. Woodbury formula와 randomized block Kaczmarz iterations를 사용하여 정규화된 natural policy gradients를 효율적인 vanilla policy gradients 형태로 변환합니다. 실험 결과, RAT는 기존 자연 경사 방법론과 대등하거나 우수한 성능을 보이면서도 구현이 간단하고 다양한 아키텍처에 적용 가능함을 입증했습니다.
고전적 모멘텀 가속을 이용한 미니 배치 SGD에서의 완벽한 병렬화
본 연구는 미니 배치 SGD에서 고전적 모멘텀(Classical Momentum)이 최적화에 미치는 영향을 이론적으로 규명합니다. 보간 영역 내 이차 함수 최적화 프레임워크를 통해 heavy ball 및 Nesterov 스타일의 모멘텀을 분석하며, 미니 배치 크기에 비례하는 가속 효과를 입증하여 하드웨어의 완벽한 병렬화를 가능하게 합니다.
CATA: 충돌 회피형 태스크 산술을 통한 지속적 머신 언러닝 (Continual Machine Unlearning)
본 연구는 시각-언어 모델(VLM)에서 개인정보 보호 및 저작권 문제를 해결하기 위해 순차적인 삭제 요청을 처리하는 '지속적 머신 언러닝' 기술을 제안합니다. 제안된 CATA 방법론은 각 망각 요청을 태스크 벡터로 변환하고, 부호 인식 충돌 회피 집계를 통해 이전의 망각 효과가 약화되는 것을 방지합니다. 실험 결과, CATA는 기존 방식보다 망각의 효과성, 모델의 유용성 보존, 그리고 망각의 지속성 측면에서 모두 우수한 성능을 입증했습니다.
무해해 보이는 법 배우기: API Import 주입을 통한 악성코드 탐지기의 표적 회피
본 논문은 머신러닝 기반 악성코드 탐지기가 정적 특징에 의존한다는 점을 이용해, 특정 Win32 API Import를 추가함으로써 악성코드를 무해한 소프트웨어 카테고리로 오분류하게 만드는 공격 기법을 제안합니다. CVAE 기반의 프레임워크를 통해 기존 악성코드의 기능을 보존하면서도 최소한의 API 추가만으로 탐지율을 급격히 낮출 수 있음을 입증했습니다.
제약 조건이 있는 머신러닝을 위한 확률적 패널티-장벽 방법 (Stochastic Penalty-Barrier Methods)
본 논문은 비볼록, 비매끄러운 확률적 환경에서 제약 조건을 준수하며 학습할 수 있는 '확률적 패널티-장벽 방법(SPBM)'을 제안합니다. 지수적 이중 평균화와 모로 포락선 등을 활용하여 기존 최적화 기법의 한계를 극복하였으며, 대규모 제약 조건 환경에서도 효율적인 성능을 입증했습니다.
그래프 레이블 선택을 위한 근사 알고리즘
그래프 레이블 선택(Graph Label Selection) 문제에서 예산 제약 조건 하에 나머지 정점의 레이블을 정확히 예측할 수 있는 $k$개의 정점을 선택하는 새로운 근사 알고리즘을 제안합니다. 기존의 자원 증강 방식이나 증명 불가능한 휴리스틱과 달리, 본 논문은 최초로 $\tilde{O}(\log^{1.5} n)$ 근사 성능을 보장하는 알고리즘을 제시합니다. 또한, 제안된 알고리즘의 변형들이 대규모 그래프에서도 효율적으로 확장 가능하다는 점을 입증했습니다.
정렬된 학습 (Aligned Training): Sparse Autoencoders (SAE)의 특징 품질과 안정성을 향상시키는 파라미터 프리
Sparse Autoencoders(SAEs)의 고질적인 문제인 죽은 특징(dead features)과 학습 불안정성을 해결하기 위해 파라미터 프리 방식인 '정렬된 학습(aligned training)'을 제안합니다. 인코더와 디코더 사이의 내적을 1로 강제하는 기하학적 제약을 통해 추가적인 하이퍼파라미터 없이도 재구성 품질과 안정성을 크게 향상시킵니다.
입장 표명: 가중치 공간 (Weight Space)은 생성형 AI의 일급 데이터 모달리티 (First-Class Modality)가 되어야 한다
본 논문은 신경망 체크포인트를 단순한 결과물이 아닌, 지식이 인코딩된 '일급 데이터 모달리티'로 취급해야 한다고 주장합니다. 가중치 공간에서의 생성 모델링을 통해 파인튜닝 비용을 획기적으로 절감하고, 모델을 최적화하는 대신 가중치 분포에서 샘플링하는 새로운 패러다임으로의 전환을 제안합니다.
Pocket Foundation Models: TFM을 CPU 기반 Gradient-Boosted Trees로 증류하기
고성능 정형 데이터 파운데이션 모델(TFM)을 CPU 기반의 Gradient-Boosted Trees(XGBoost, CatBoost)로 증류하여 추론 속도를 획기적으로 개선하는 방법을 제안합니다. 층화된 Out-of-Fold(OOF) 레이블링을 통해 인컨텍스트 학습 모델의 레이블 유출 문제를 해결함으로써, CPU 환경에서도 교사 모델 성능의 96.5%를 유지하며 최대 860배의 속도 향상을 달성했습니다.
아키텍처보다 데이터 제시가 중요하다: Tabular Foundation Models를 이용한 신용 위험 예측을 위한 재샘플링 전략
신용 부도 예측과 같은 정형 데이터 학습에서 Tabular Foundation Models(TFMs)의 성능은 모델 아키텍처보다 컨텍스트 윈도우를 구성하는 샘플링 전략에 더 큰 영향을 받습니다. 연구 결과, 균형 잡힌 샘플링(balanced sampling)을 통해 구축된 컨텍스트가 모델 종류보다 AUC-ROC 성능 향상에 더 결정적인 역할을 함을 확인했습니다.
차분 프라이버시가 적용된 연합 학습(Differentially Private Federated Learning)의 통계적 한계 및 효율적인
본 연구는 차분 프라이버시(DP)가 적용된 연합 학습 환경에서 추정 정확도, 프라이버시 제약, 통신 비용 간의 트레이드오프를 분석합니다. 기존 FedAvg의 편향 문제와 FedSGD의 높은 통신 비용 문제를 해결하기 위해 FedHybrid와 FedNewton이라는 새로운 방법론을 제안합니다. 또한, 제안된 방법들의 성능을 평가하기 위해 MSE에 대한 유한 샘플 상한과 미니맥스 하한을 수학적으로 도출하였습니다.
KairosHope: 이중 메모리 아키텍처를 통한 특화된 분류를 위한 차세대 시계열 파운데이션 모델
KairosHope는 시계열 분류 작업의 효율성과 정밀도를 높이기 위해 설계된 차세대 시계열 파운데이션 모델(TSFM)입니다. 이 모델은 이차 어텐션의 병목 현상을 해결하기 위해 단기 유지를 위한 Titans 모듈과 장기 문맥을 위한 연속 메모리 시스템(CMS)으로 구성된 이중 메모리 아키텍처를 도입했습니다. 또한 결정론적 통계 특징과 깊은 잠재 표현을 결합하여 센서 데이터 및 인간 활동 인식 분야에서 뛰어난 성능을 보여줍니다.
다중 클래스 선형 분류기의 효율적이고 노이즈에 강한 PAC 학습
본 논문은 다중 클래스 선형 분류기를 악의적인 노이즈가 존재하는 환경에서도 효율적으로 학습할 수 있는 PAC 학습 알고리즘을 제안합니다. 주변 분포가 유계 분산 분포의 혼합이며 마진 조건을 만족한다는 가정하에, 클러스터 기반 프루닝과 다중 클래스 힌지 손실 최소화 기법을 사용하여 계산 효율성을 확보했습니다.
ML-NIDS에 대한 그래디언트 기반 적대적 공격에 대한 무방어 방어 전략: 적은 것이 더 많은 것인가?
본 논문은 추가적인 방어 기법 없이 아키텍처 설계만으로 ML 기반 네트워크 침입 탐지 시스템(NIDS)의 강건성을 높이는 방법을 연구합니다. 실험 결과, 얕은 네트워크, 축소된 특징 집합, ReLU 활성화 함수를 조합했을 때 적대적 공격에 대한 취약성이 크게 감소함을 확인했습니다.
COOPO: 순환적 오프라인-온라인 정책 최적화 알고리즘
COOPO는 오프라인 강화학습의 데이터 한계와 온라인 강화학습의 과도한 상호작용 문제를 동시에 해결하기 위한 순환적 정책 최적화 프레임워크입니다. KL 정규화 기반의 오프라인 업데이트와 온라인 미세 조정을 반복함으로써, 분포 드리프트와 파괴적 망각 문제를 방지하고 데이터셋 재사용을 극대화합니다. 이를 통해 온라인 샘플 효율성을 높이면서도 최종 성능을 향상시키는 효과를 입증했습니다.
함께할 때 더 나은: Earth 임베딩 모델의 상호 보완성 평가
Earth 임베딩 모델의 성능을 개별 모델 단위가 아닌, 모델 간의 상호 보완성(complementarity) 관점에서 평가하는 새로운 방법론을 제안합니다. 연구 결과, 여러 임베딩 모델을 융합했을 때 단일 모델보다 뛰어난 성능을 보이는 경우가 많으며, 이는 개별 평가 방식이 모델의 잠재력을 과소평가할 수 있음을 시사합니다.
정답지(Ground-Truth) 없이 정량화 가능한 시각적 설명 학습하기
정답지(Ground-Truth)가 부족한 상황에서 설명 가능한 인공지능(XAI)의 품질을 정량적으로 평가할 수 있는 새로운 프레임워크를 제안합니다. 이 프레임워크는 정보의 충분성과 필요성을 기반으로 하며, 이를 미분 가능한 근사치로 활용해 모델의 의사 결정 과정을 인과적으로 설명하는 어댑터 모듈을 학습시킬 수 있습니다.
양자 가스 (Quantum-gas) 실험을 위한 머신러닝 (ML)은 설명 가능할 수 있는가?
다체 원자 물리학의 복잡한 데이터 처리와 고전적 시뮬레이션의 한계를 극복하기 위해 머신러닝(ML)을 활용하는 방안을 다룹니다. 냉각 원자 기반 양자 시뮬레이터에서 생성된 이미지 데이터를 대상으로 노이즈 제거와 솔리톤 파동 식별 사례를 분석하며, 모델의 성능, 복잡도, 설명 가능성 간의 관계를 탐구합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.