Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 1862건필터 해제
NoiseTilt: 확산 보상 정렬을 위한 노이즈 기울임 역 커널 (Noise-Tilted Reverse Kernels)
NTRK은 사전 학습된 확산 모델의 역 커널을 수정하지 않고 노이즈 항에 보상 기울기를 주입하는 새로운 샘플링 기법입니다. 기존 방식의 품질 저하와 탐색 효율성 문제를 해결하여, 샘플 품질을 유지하면서도 계산 효율성을 극대화합니다.
Volterra 생성 모델 (Volterra Generative Models)
Volterra 생성 모델은 기존 확산 모델의 메모리 없는 노이징 한계를 극복하기 위해 분수 커널을 통한 경로 의존적 노이즈를 도입한 새로운 프레임워크입니다. 비-마르코프 역학을 처리하기 위한 수학적 방법론을 제시하며, MNIST 및 CIFAR-10 실험을 통해 생성 성능과 확장성을 입증했습니다.
텐서 기반 2차 인과 발견 (Tensor-based second-order causal discovery)
관측 데이터와 개입 데이터의 공분산 텐서를 활용하여 인과 관계를 밝히는 TSCD 알고리즘을 제안합니다. 이 방식은 통계적 효율성이 높고 가우시안 분포 여부와 상관없이 작동하며, 적은 수의 개입만으로도 인과 구조를 식별할 수 있습니다.
Edge Flow: 안정성 경계(Edge of Stability)에서의 경사 하강법을 위한 다루기 쉽고 예측 가능한 연속 시간 모델
경사 하강법이 안정성 경계(EoS)에서 작동하는 역학을 분석하기 위해 제안된 새로운 연속 시간 모델 'Edge Flow'를 소개합니다. 이 모델은 역학을 중심, 진동 방향, 진동 크기로 분해하여 날카로움의 안정화 과정을 효과적으로 설명합니다.
추론 흔적에서 재사용 가능한 모듈로: 언어 모델 추론에서의 구성적 일반화(Compositional Generalization) 이해
LLM의 사후 학습(Post-training) 과정에서 SFT와 RL이 구성적 일반화를 어떻게 유도하는지 이론적으로 분석합니다. SFT는 모듈의 재료를 공급하고, RL은 이를 분해하여 재사용 가능한 원자적 모듈로 식별 및 구성하는 역할을 수행함을 입증합니다.
OmniPlan: 적시성 및 근사 최적 네트워크 계획 최적화를 위한 적응형 프레임워크
OmniPlan은 네트워크 계획 최적화에서 적시성과 근사 최적성을 동시에 달성하기 위한 적응형 프레임워크입니다. LLM을 통해 자연어 의도를 정량화하고, 전문가 혼합(MoE) 아키텍처를 사용하여 최적의 솔루션을 동적으로 선택합니다.
S4oP: 자원 제한적 장치를 위한 구조적 상태 공간 모델(SSM)의 연산자 수준 프루닝 (Operator-level Pruning)
S4 및 S4D와 같은 구조적 상태 공간 모델(SSM)의 추론 비용을 줄이기 위한 새로운 연산자 수준 프루닝 기법을 제안합니다. 구조적 마스킹과 미세 조정을 결합하여 성능 저하를 최소화하면서도 연산 효율성을 극대화하는 방법을 다룹니다.
최소 제로 포싱 집합(Minimum Zero-Forcing Sets)을 위한 심층 강화학습 (Deep Reinforcement Learning)
무방향 그래프에서 최소 제로 포싱 집합(ZFS) 문제를 해결하기 위한 심층 강화학습 프레임워크인 SD-ZFS를 제안합니다. S2V-DQN 아키텍처를 조정하여 NP-hard 문제인 ZFS를 효율적으로 해결하며, 다양한 그래프 구조에서의 일반화 및 확장 성능을 입증했습니다.
다중 목적 강화학습 (MORL)에서의 공정한 파레토 최적 정책 학습
다중 목적 강화학습(MORL)에서 다양한 사용자 선호도에 대응하면서도 공정성을 보장하는 파레토 최적 정책 세트 학습 방법을 제안합니다. GGF와 같은 복지 함수를 활용하여 동적인 환경에서도 형평성을 유지하는 새로운 알고리즘들을 소개합니다.
Ternary Mamba: W1.58A16 상태 공간 모델 (SSM)의 그룹화된 양자화 인식 학습 (QAT)
Mamba-2와 같은 상태 공간 모델(SSM)의 메모리 효율성을 높이기 위해 사전 학습된 체크포인트를 활용한 그룹화된 양자화 인식 학습(QAT) 기법을 제안합니다. 지식 증류를 결합하여 모델을 3.61배 압축하면서도 높은 제로샷 정확도를 유지하며, 데이터 효율적인 압축 방식을 입증했습니다.
Handlebars 템플릿 기반 LLM 프롬프트에서의 구조적 역할 주입: 삼중 중괄호 보간, 구분자 제품군, 그리고 HTML 자동 이스케이프의
Handlebars 템플릿 엔진을 사용하는 LLM 애플리케이션에서 이스케이프 처리가 구조적 역할 주입 공격을 완벽히 방어하지 못함을 규명했습니다. HTML 이스케이프는 특정 구분자만 보호할 뿐, 콜론이나 마크다운 기반의 역할 위조 공격에는 취약함을 실험으로 증명했습니다.
마이크로컨트롤러급 엣지 디바이스를 위한 임베디드 머신러닝: 데이터, 특징, 평가 및 배포 파이프라인
마이크로컨트롤러급 엣지 디바이스를 위한 임베디드 머신러닝 워크플로우를 시스템 관점에서 분석한 논문입니다. 데이터 수집부터 특징 추출, 모델 설계, 스트리밍 배포에 이르는 엔지니어링 결정 사항과 실질적인 설계 규칙을 다룹니다.
소모되는 자산으로서의 메모리: Embodied Agent를 위한 Flash 내구성 가격 책정 및 그 한계
Embodied Agent의 메모리 시스템에서 플래시 메모리의 내구성을 소모되는 자산으로 정의하고, 이를 최적화하기 위한 가격 책정 모델을 제안합니다. RAM, NVM, 클라우드 계층 간의 비용을 최소화하는 마모 인식 배치 전략을 다룹니다.
CTI 보고서의 다중 레이블 ATT&CK 기법 분류를 위한 오픈 소스 LLM 평가
비정형 CTI 보고서에서 다중 레이블 ATT&CK 기법을 분류하기 위한 오픈 소스 LLM의 성능을 평가한 연구입니다. 연구진은 2,076개의 정밀한 데이터셋을 구축하여 8B~236B 규모의 모델들을 테스트했습니다. 실험 결과, 현재의 오픈 소스 LLM은 실제 프로덕션 환경의 복잡한 CTI 분류를 수행하기에는 성능이 부족함을 확인했습니다.
Physics-Informed Neural Networks를 이용한 비선형 편미분 방정식(PDEs) 해결을 위한 볼록 준선형화(Convex
비선형 편미분 방정식(PDEs) 해결을 위해 PINNs의 비볼록 최적화 문제를 볼록 준선형화 방식으로 해결하는 LiL-Q 방법을 제안합니다. 이 방법은 학습 가능한 매개변수가 선형적으로 작용하는 시도 공간을 사용하여 수렴 속도와 정확도를 획기적으로 높였습니다.
마르코프 노이즈(Markovian Noise) 하의 선형 특징(Linear Features)을 이용한
마르코프 노이즈 환경에서 선형 함수 근사를 이용한 TD(0) 학습의 확률 미분 방정식(SDE) 근사 모델을 제안합니다. 이 모델은 벨만 연산자의 수축 역학과 마르코프 샘플링의 영향을 구분하여 상수 단계 크기 오차 하한을 설명합니다.
다중 소스 사이버 보안 로그: ATT&CK 레이블이 지정된 데이터셋 및 SLM 평가
다단계 사이버 공격 탐지를 위해 시스템, 네트워크, 브라우저 로그를 통합하고 MITRE ATT&CK 기술 레이블을 부여한 새로운 데이터셋을 제안합니다. 해당 데이터셋을 활용해 Qwen2.5, Llama-3.2, Phi-4-Mini와 같은 소형 언어 모델(SLM)을 LoRA로 미세 조정하여 보안 로그 분석 성능을 입증했습니다.
강건한 확산 정책 (Diffusion Policies)을 위한 Kolmogorov 회귀
확산 정책(Diffusion Policies)의 시간적 드리프트 문제를 해결하기 위해 역방향 Kolmogorov 방정식을 도입한 새로운 연구입니다. Cameron-Martin 공간으로의 격상을 통해 확률적 스코어 매칭을 결정론적 PDE 문제로 변환하여 궤적의 정규성을 개선합니다.
분류를 위한 데이터셋 증류(Dataset Distillation)에 대한 재고: 증류된 세트가 코어셋(Coresets)보다 성능이 우수한가?
데이터셋 증류(DD) 기술이 기존의 코어셋(Coreset) 선택 방식보다 실제로 우수한지 비판적으로 분석한 연구입니다. 대규모 실험 결과, 최신 DD 방식들이 코어셋과 비슷하거나 오히려 성능이 낮고 비용은 더 높다는 점을 밝혀냈습니다.
확률적 네트워크에서의 유한 시간 큐 피크 법칙: 기하학적 임계값 이후의 로그 스케일링
확률적 네트워크 모델에서 유한 시간 내 큐 피크(queue peaks)의 거동을 연구한 논문입니다. 특정 기하학적 임계값을 기점으로 큐의 최대값이 제곱근 형태에서 로그 스케일로 변화하는 메커니즘을 분석했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.