Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv논문
RenderFormer++: 메쉬 장면의 전역 조명을 위한 확장 가능하고 물리적으로 근거를 둔 피드포워드 신경 렌더링
RenderFormer++는 메쉬 장면의 전역 조명을 위한 확장 가능한 피드포워드 신경 렌더링 프레임워크입니다. PITG와 HOCT 기술을 통해 물리적 일관성을 유지하면서도 계산 복잡도를 획기적으로 줄였습니다.
5일 전0
arXiv논문
신경망 학습 역학의 스칼라 표현 (Scalar Representations of Neural Network Training Dynamics)
신경망 학습 궤적을 시계열 네트워크의 스칼라 임베딩을 통해 저차원으로 표현하는 연구를 소개합니다. MNIST 실험을 통해 임베딩이 학습률 민감도와 리아푸노프 지수 등 주요 역학적 특징을 효과적으로 보존함을 입증했습니다.
5일 전0
arXiv논문
예측, 재사용 및 복구: 긴 문맥 LLM 디코딩을 위한 동적 희소 어텐션 (Dynamic Sparse Attention) 가속화
긴 문맥 LLM 디코딩 시 발생하는 동적 희소 어텐션(DSA)의 지연 시간 문제를 해결하기 위해 PRR 런타임을 제안합니다. 예측, 재사용, 복구 메커니즘을 통해 정확도를 유지하면서 디코딩 지연 시간을 최대 40% 단축했습니다.
5일 전0
arXiv논문
SGD가 XOR 모델에서 우회 경로의 가짜 특징을 학습하는 것을 증명
본 논문은 2층 ReLU 신경망이 SGD를 통해 학습할 때 가짜 상관관계(spurious correlations)를 지수적으로 빠르게 학습하는 메커니즘을 이론적으로 규명합니다. XOR 신호와 가짜 특징이 공존할 때, 가짜 특징이 신호 학습을 억제하는 상전이 현상을 분석합니다.
5일 전0
arXiv논문
보상 기반 모멘트 매칭 증류(Rewarded Moment Matching Distillation)를 이용한 확산 모델 미세 조정
확산 모델의 증류와 강화학습 미세 조정을 결합한 새로운 프레임워크인 RMMD를 제안합니다. RMMD는 샘플링 루프를 온폴리시 학습에 맞게 조정하여 생성 품질과 속도 사이의 최적의 트레이드오프를 달성합니다.
5일 전0
arXiv논문
LLM 추론을 위한 경험 증강 정책 최적화 (Experience Augmented Policy Optimization)
LLM의 추론 능력을 향상시키기 위한 새로운 강화학습 방법론인 EAPO를 제안합니다. 기존 RLVR의 높은 샘플링 비용과 정책 불일치 문제를 해결하기 위해 정책 적응형 경험 주입 방식을 사용합니다.
5일 전0
arXiv논문
머신러닝 모델을 위한 소유권 증명 (Proofs of Ownership for Machine Learning Models)
머신러닝 모델의 소유권을 보호하기 위한 '소유권 증명(Proof of Ownership)'에 관한 연구를 소개합니다. 모델 소유자, 도둑, 판사 간의 게임 이론적 모델링을 통해 도난된 모델의 출처를 증명할 수 있는 조건을 분석합니다.
5일 전0
arXiv논문
Arko-T: 텍스트 기반 구조화된 3D 생성을 위한 파운데이션 모델 (Foundation Model)
Arko-T는 자연어 의도를 편집 가능한 파라메트릭 CAD 프로그램으로 변환하는 4B 규모의 텍스트-to-설계 파운데이션 모델입니다. 단순 형상 생성을 넘어 설계 상태, 파라미터, 구성 로직을 보존하며 벤치마크에서 프런티어 LLM에 필적하는 성능을 입증했습니다.
5일 전0
arXiv논문
당신의 결과를 신뢰할 수 있는가? CAN IDS 평가에 대한 교차 데이터셋 연구
차량 내 CAN 버스를 보호하는 침입 탐지 시스템(IDS)의 평가 방식이 데이터셋에 따라 편향될 수 있음을 지적합니다. 이를 해결하기 위해 7개의 공개 데이터셋을 통합한 새로운 벤치마킹 프레임워크를 제안하고 교차 데이터셋 평가를 수행했습니다.
5일 전0
arXiv논문
내부 상태 프로브(Internal-State Probes)는 행동이 아닌 상황을 읽는다: 사전 행동 불일치 모니터링(Pre-Action
모델의 내부 상태 프로브를 통해 유해한 행동이 발생하기 전 이를 미리 감지할 수 있는지 연구했습니다. Qwen, Llama, Gemma 모델을 대상으로 실험한 결과, 현재의 기술로는 행동의 일반화와 개념 특이성 통제를 통과하는 견고한 사전 행동 모니터링이 어렵다는 부정적 결과를 도출했습니다.
5일 전0
arXiv논문
곡률 가중 그래디언트 다양성 (Curvature-Weighted Gradient Diversity): 기하학적 적응형 SGD 스케줄을 위한
표준 SGD의 노이즈 모델링 한계를 극복하기 위해 헤시안의 역 제곱근을 활용한 '곡률 가중 그래디언트 다양성(CWGD)'을 제안합니다. CWGD-Cosine 스케줄은 이차 목적 함수에서 표준 코사인 어닐링보다 최적화 오차를 최대 2배까지 줄일 수 있음을 증명했습니다.
5일 전0
arXiv논문
HSAP: 하이브리드 컨텍스트 생성 모델을 위한 계층적 시퀀스 인식 병렬화
하이브리드 컨텍스트 패킹 시퀀스에서 발생하는 인과적 어텐션의 교차 오염 문제를 해결하기 위한 새로운 시퀀스 병렬화 프레임워크 HSAP를 제안합니다. JIT 컴파일과 NCCL 최적화를 통해 통신 오버헤드를 줄이고 기존 방식보다 뛰어난 성능을 입증했습니다.
5일 전0
arXiv논문
표 형식의 기업 데이터와 공개 벤치마크 간의 차이점 탐색
본 연구는 기업용 표 형식 데이터와 공개 벤치마크 간의 차이점을 분석합니다. TabPFN, TabICL 등의 모델을 통해 기업 데이터의 특성을 실체화한 결과, 기존 벤치마크와 실제 기업 데이터 간의 성능 불일치를 확인했습니다.
5일 전0
arXiv논문
MuonSSM: 시퀀스 모델링을 위한 직교화된 상태 공간 모델 (State Space Models)
MuonSSM은 기존 상태 공간 모델(SSM)의 불안정성과 메모리 저하 문제를 해결하기 위해 업데이트 기하학을 명시적으로 조건화하는 새로운 프레임워크입니다. 뉴턴-슐츠 변환을 통해 병렬 스캔 복잡도를 유지하면서도 그래디언트 전파와 긴 컨텍스트 성능을 크게 개선했습니다.
5일 전0
arXiv논문
정상 상태 관측으로부터 인과적 확산 메커니즘의 비모수적 복구
횡단면 데이터로부터 연속 시간 동안 진화하는 희소 다변량 확률 시스템의 인과적 확산 메커니즘을 비모수적으로 복구하는 방법론을 제안합니다. 평형 분포에 도달한 시스템을 가정하여 드리프트 함수를 식별하는 비모수 커널 추정량을 도출하고 그 일관성을 증명했습니다.
5일 전0
arXiv논문
시간적 의존성 하에서의 인과 효과를 위한 이중 강건 적응형 등각 추론 (Doubly Robust Adaptive Conformal
시간적 의존성이 존재하는 환경에서 인과 효과를 측정하기 위한 새로운 통계적 방법론인 DR-ACI를 제안합니다. 이중 강건 의사 결과(Doubly Robust Pseudo-outcomes)를 활용하여 신뢰할 수 있는 예측 구간을 구축하는 데 중점을 둡니다.
5일 전0
arXiv논문
Muon은 느린 saddle-to-saddle 역학 없이 행렬 분해에서 균형 잡힌 해를 학습한다
Muon 옵티마이저가 행렬 분해 문제에서 경사 하강법과 달리 느린 saddle-to-saddle 역학을 피하고 상위 모드를 균일하게 학습하는 과정을 분석합니다. Muon은 높은 학습률에서도 안정성을 유지하며, 가중치 정렬을 통해 균형 잡힌 해를 빠르게 찾아내는 특성을 가집니다.
5일 전0
arXiv논문
매개변수 의존적 밀도 모핑을 위한 인수분해 가능한 정규화 흐름 (Factorizable Normalizing Flows)
매개변수 변화에 따라 밀도가 변하는 문제를 해결하기 위해 인수분해 가능한 정규화 흐름(FNFs)을 제안합니다. 고정된 흐름과 매개변수별 독립적 변환을 합성하여, 매개변수 수에 따라 선형적으로 확장 가능한 해석 가능한 모델을 구축합니다.
5일 전0
arXiv논문
지식 증류 (Knowledge Distillation)를 통한 시각적 양자 강화학습 (Visual QRL)의 단계적 하이브리드화
본 논문은 시각적 양자 강화학습(Visual QRL)의 학습 난이도를 낮추기 위해 지식 증류(Knowledge Distillation)를 활용하는 단계적 하이브리드화 전략을 제안합니다. 클래식 시각적 교사 모델의 인코더를 고정한 상태에서 양자 회로 기반의 학생 모델로 정책을 증류하여 효율적인 학습 경로를 제시합니다.
5일 전0
arXiv논문
새로움(Novelty)으로부터의 협업 발견: 클러스터형 연합 학습을 위한 Random Network Distillation
non-IID 데이터 환경에서 클러스터형 연합 학습의 효율성을 높이기 위해 Random Network Distillation(RND)을 활용한 새로운 접근 방식을 제안합니다. 각 클라이언트의 예측 오차를 '새로움 신호'로 사용하여 데이터 공유 없이도 유사한 클라이언트 그룹을 자율적으로 발견할 수 있습니다.
5일 전0