Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2000건필터 해제
ArrythML: 자원 제한적인 임베디드 시스템에서의 온디바이스 부정맥 탐지를 위한 오토인코더 기반 TinyML 접근 방식
자원 제한적인 임베디드 시스템에서 실시간 부정맥 탐지를 위한 TinyML 기반 오토인코더 모델을 제안합니다. INT8 양자화를 통해 모델 크기를 최소화하여 ESP32-S3 환경에서 효율적인 온디바이스 추론 성능을 입증했습니다.
노이즈와 양방향 필터의 결합을 통한 CNN의 초선형적(Supralinear) 및 확장 가능한 적대적 강건성 달성
가우시안 노이즈와 양방향 필터링을 결합하여 CNN의 적대적 강건성을 초선형적으로 향상시키는 새로운 전처리 기법을 제안합니다. 이 방식은 기존 적대적 훈련보다 훨씬 적은 계산 비용과 파라미터로도 최첨단 방어 성능을 달성할 수 있음을 입증했습니다.
CityTrajBench: 도시 규모 차량 궤적 생성을 위한 통합 벤치마크
도시 규모 차량 궤적 생성을 위한 통합 벤치마크 프레임워크인 CityTrajBench를 제안합니다. 기존 연구의 파편화된 실험 프로토콜을 표준화하여 다양한 생성 모델의 성능을 체계적으로 비교하고 평가할 수 있는 환경을 제공합니다.
다단계 예측을 위한 물리 가이드 기반 순환 상태 공간 신경망
물리 지식과 딥러닝을 결합한 PG-RSSNN 모델을 제안합니다. 순환 구조를 통해 기울기 소실과 수치적 발산 문제를 해결하여, 데이터가 부족하거나 물리 모델이 불완전한 상황에서도 안정적인 다단계 예측 성능을 제공합니다.
LLM의 거대한 스파이크는 편향 벡터이다: 메커니즘적 규명 및 스파이크 없는 양자화
LLM의 활성화 스파이크가 단순한 스칼라 편향이 아닌 구조적인 벡터 편향임을 규명한 연구입니다. 이를 통해 스파이크를 제어하고 기능을 복구하는 INSERTQUANT 프레임워크를 제안하여 고성능 저비트 양자화를 구현했습니다.
정규화된 대규모 이웃 탐색 (Regularized Large Neighborhood Search)
기존의 조합 최적화 신경망 접근 방식의 한계를 극복하기 위해 정규화된 대규모 이웃 탐색(RLNS)을 제안합니다. RLNS는 LNS 휴리스틱을 효율적인 MCMC 샘플러로 변환하여 전역 솔버 없이도 엔드투엔드 학습을 가능하게 합니다.
신뢰할 수 있는 생성적 역문제(Generative Inverse Problems)를 위한 측정 기하학 및 설계
생성 모델을 활용한 역문제 해결 시 발생하는 환각 현상을 방지하기 위해 측정 기하학 관점의 새로운 분석 프레임워크를 제안합니다. 국소 측정-매니폴드 호환성 척도를 도입하여 측정 연산자가 사전 정보의 변동을 얼마나 잘 포착하는지 정량화하고, 이를 통해 최적의 측정 설계를 유도합니다.
홍수 침수 지도 제작 개선을 위한 원격 탐사용 딥러닝 (Deep Learning)
본 연구는 구름으로 인해 관측이 어려운 홍수 상황에서 Masked Diffusion Transformer를 활용한 구름 제거 프레임워크를 제안합니다. DDPM 기반의 이 모델은 공간적 문맥을 포착하여 수문학적 일관성을 유지하며 정밀한 침수 지도를 제작할 수 있게 합니다.
지속 학습을 위한 적대적 섭동의 재구성: 방어에서 능동적 정렬로
LLM의 지속 학습(Continual Learning) 과정에서 발생하는 망각과 적대적 섭동 취약성을 해결하기 위한 AdvCL 프레임워크를 제안합니다. 적대적 섭동을 기하학적 제어 신호로 재구성하여 모델의 강건성과 전이 성능을 동시에 향상시킵니다.
강건한 사전 확률 업데이트를 통한 역문제 해결을 위한 환각 인지 확산 샘플링
확산 모델 기반 역문제 해결 시 발생하는 측정 조건부 환각 현상을 분석하고, 이를 해결하기 위한 강건한 사전 확률 업데이트(RPU) 기법을 제안합니다. RPU는 사전 확률 업데이트의 국소적 안정성을 확보하여 측정값에 더 충실한 재구성을 가능하게 합니다.
저계수 아키텍처를 위한 리만 경사 하강법 (Riemannian Gradient Descent)
계수 분해된 행렬 파라미터를 위한 리만 최적화 기법을 탐구하는 연구입니다. 다양한 기하학적 구조와 블록 행렬 변형을 조사하며, 소규모 언어 모델의 멀티헤드 어텐션 파라미터에 적용하여 성능을 검증했습니다.
모델 붕괴 없는 엔트로피 최소화: 의료 영상에서의 예측 편향 완화
엔트로피 최소화(EM) 과정에서 발생하는 모델 붕괴와 예측 편향의 원인을 분석하고, 이를 해결하기 위한 새로운 목적 함수인 DSBR을 제안합니다. 의료 영상 및 ImageNet-C 데이터셋 실험을 통해 DSBR이 테스트 시간 적응(TTA)을 안정화하고 모델 붕괴를 방지함을 입증했습니다.
미분 가능한 Choquet 적분 융합을 이용한 파라미터 효율적 이중 인코더 구조의 수중 음향 분류
수중 음향 분류를 위해 파형과 스펙트로그램을 동시에 처리하는 파라미터 효율적 이중 인코더 구조를 제안합니다. Choquet 적분을 활용한 미분 가능한 퍼지 집계 메커니즘을 통해 두 표현 간의 균형을 맞추고 모델의 해석 가능성을 높였습니다.
SIRI: LLM 에이전트 학습을 위한 내재적 기술 기반의 자기 내재화 강화학습 (Self-Internalizing Reinforcement
SIRI는 외부 기술 생성기 없이 LLM 에이전트가 스스로 기술을 발견, 검증 및 내재화하는 3단계 강화학습 프레임워크를 제안합니다. 이를 통해 추론 시 기술 검색에 따른 지연 시간과 복잡성을 줄이면서도 높은 성능을 달성합니다.
적은 양으로도 잘하기! 경험적 쌍별 손실 추정/최소화를 위한 샘플링 기법에 대하여
쌍별 손실 함수(pairwise loss functions)의 높은 계산 비용 문제를 해결하기 위해 조사 샘플링 기법을 활용한 새로운 접근 방식을 제안합니다. 모든 쌍을 계산하는 대신 정보가 풍부한 쌍에 높은 확률을 할당함으로써, 정확도와 계산 효율성 사이의 최적의 절충안을 제공합니다.
국소적 선호 베이지안 최적화 (Local Preferential Bayesian Optimization)
본 논문은 고차원 문제에서 기존 선호 베이지안 최적화(PBO)의 효율성 한계를 극복하기 위한 국소적 PBO 방법론을 제안합니다. 신뢰 영역 및 미분 정보 기반의 국소 탐색을 통해 복잡한 지형에서도 누적 후회를 효과적으로 줄이는 연구 결과를 담고 있습니다.
부분 관측 가능한 마르코프 게임에서의 미니맥스 최적 정책 후회 (Minimax-Optimal Policy Regret in Partially
부분 관측 가능한 마르코프 게임(POMGs) 환경에서 적대적 상대방에 맞선 순차적 의사결정 최적화 연구를 다룹니다. 에포크 기반 낙관적 최대 우도 알고리즘을 통해 $\tilde{O}(\sqrt{T})$의 정책 후회를 달성함을 증명했습니다.
어텐션 회로(Attention Circuits)는 언제 형성되는가? 세 가지 1B급 아키텍처 전반에 걸친 능력 및 어텐션
1B급 언어 모델들을 대상으로 어텐션 헤드 회로가 형성되는 발달 궤적을 분석한 연구입니다. Pythia, OLMo, OLMoE 모델을 통해 유도, 이전 토큰, BOS-어트랙터 헤드의 출현 과정을 추적했습니다.
FOAM: Shampoo의 Staleness 지향적 오차를 줄이기 위한 주파수 및 연산자 오차 기반 적응형 댐핑 방법
Shampoo 최적화 알고리즘의 연산 오버헤드를 줄이기 위해 Staleness 문제를 해결하는 FOAM 알고리즘을 제안합니다. 주파수 및 연산자 오차를 기반으로 댐핑 계수와 고유값 분해 빈도를 동적으로 제어하여 학습 안정성과 효율성을 동시에 확보합니다.
문맥적 데이터 변조를 위한 수학적 충돌 프레임워크
원시 데이터와 문맥 데이터 간의 구조적 불일치를 다루기 위한 수학적 충돌 프레임워크를 제안합니다. 충돌을 암시적 부작용이 아닌 독립적인 수학적 객체로 정의하여 다양한 문제에 적용 가능한 일반화된 구조를 제시합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.