Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
ConQuR: LLM을 위한 최적화된 회전을 이용한 코너 정렬 활성화 양자화
본 논문은 LLM의 높은 메모리 사용량과 추론 비용 문제를 해결하기 위해 최적화된 회전을 활용한 코너 정렬 활성화 양자화를 제안합니다. 기존 방법들이 요구하던 값비싼 종단 간 훈련이나 대규모 오프라인 데이터 저장 없이도, 경량의 사후 훈련(post-training) 회전 보정화 기법을 통해 Llama 모델군에서 경쟁적이거나 향상된 성능을 달성할 수 있음을 입증했습니다.
5월 12일9
arXivAI 번역논문
DECO: End-Side 장치에서 높은 성능을 유지하는 희소 혼합 전문가 (Sparse Mixture-of-Experts)
DECO는 엣지 장치(end-side device) 배포 환경에서 높은 성능과 효율성을 동시에 달성하기 위해 설계된 희소 혼합 전문가(Sparse Mixture-of-Experts, MoE) 아키텍처입니다. 기존 MoE 모델들이 큰 총 파라미터 크기로 인해 메모리 및 저장 병목 현상을 겪는 문제를 해결합니다. DECO는 학습 가능한 스케일링과 유연한 ReLU 기반 라우팅을 활용하여, 제한된 파라미터 예산 내에서 밀집 변환기(dense Transformers) 수준의 성능을 구현하는 것을 목표로 합니다.
5월 12일9
arXivAI 번역논문
Imagined-to-Listened MEG 매핑을 통한 제로샷(Zero-Shot) 상상 음성 디코딩
본 연구는 비침습적 MEG 기록을 활용하여 상상된 음성을 디코딩하는 새로운 접근 방식을 제안합니다. 기존의 어려움(데이터셋 부족, 시간 정렬 문제)을 극복하기 위해, 훈련된 음악가들로부터 청취 및 상상에 대한 쌍으로 이루어진 MEG 데이터를 수집했습니다. 개발된 세 단계의 디코딩 파이프라인은 상상과 청취 간의 신경 활동 관계를 밝혀냈으며, 이는 확장 가능하고 실제 BCI 시나리오에 적용 가능한 결과를 보여주었습니다.
5월 11일7
arXivAI 번역논문
PropSplat: 3D 가우시안 전파 스플래팅을 이용한 지도 없는 무선 주파수(RF) 필드 재구성
PropSplat은 3D 이방성 가우시안 프리미티브를 활용하여 상세한 지도나 밀도 높은 측정 캠페인이 필요 없는, 지도 없는 무선 주파수(RF) 필드 재구성 방법을 제시합니다. 이 방법은 관측된 송신기-수신기 경로를 따라 초기화되며 외부 지리 데이터 없이 엔드투엔드 최적화를 통해 전파 환경을 학습합니다. 실제 대규모 실외 드라이브 테스트와 실내 블루투스 측정에서 PropSplat은 기존의 RF 재구성 모델들(NeRF$^2$, GSRF 등) 대비 현저히 낮은 오차율과 높은 정확도를 보여주어, 희소한 측정 데이터만으로도 신뢰성 있는 전파 환경 모델링이 가능함을 입증했습니다.
5월 11일4
arXivAI 번역논문
PET-Adapter: 전체 및 제한 각도 PET 이미지 재구성을 위한 테스트 시간 도메인 적응
PET-Adapter는 양전자 방출 단층촬영(PET) 이미지 재구성 과정에서 발생하는 푸아송 노이즈와 제한 각도 획득 문제를 해결하기 위해 제안된 테스트 시간 도메인 적응 프레임워크입니다. 이 방법은 팬텀 데이터로 사전 학습된 생성형 PET 모델을 다양한 해부학 구조 및 추적자를 가진 임상 데이터셋에 효과적으로 적응시킬 수 있게 합니다.
5월 11일3
arXivAI 번역논문
Criticality and Saturation in Orthogonal Neural Networks
본 논문은 오르토고널 가중치 초기화가 된 유한 너비 비선형 신경망의 안정성을 이론적으로 분석합니다. 저자들은 네트워크 통계에 대한 명시적인 레이어별 재귀 관계를 도출하고, 기존 i.i.d.-초기화 모델에 적용되던 Feynman 다이어그램을 확장하여 $1/ ext{width}$ 항까지 일반화했습니다. 이를 통해 오르토고널 초기화가 깊은 네트워크에서 안정성을 유지하는 이유를 수학적으로 설명하며, 이 이론적 결과를 수치 해석 및 몬테카를로 시뮬레이션으로 검증합니다.
5월 8일7
arXivAI 번역논문
On the Safety of Graph Representation Learning
본 논문은 그래프 표현 학습(GRL)의 안전성 문제를 다루며, 기존 연구가 주로 깨끗한 전이와 적응에 초점을 맞춘 한계를 지적합니다. 이를 해결하기 위해 GRL-Safety라는 다차원 안전성 평가 벤치마크를 제안했습니다. 이 벤치마크는 25개 데이터셋과 12가지 대표적인 GRL 방법을 사용하여 교란 내성, OOD 일반화, 공정성 등 5가지 안전 축을 포괄적으로 평가합니다.
5월 8일8
arXivAI 번역논문
ReActor: Reinforcement Learning for Physics-Aware Motion Retargeting
본 논문은 강화학습(RL)을 활용하여 물리적 제약 조건을 고려한 로봇 모션 재목표(Retargeting) 프레임워크를 제안합니다. 기존 방법들이 겪던 미끄러짐이나 역학적 불가능성 같은 물리적 오류 문제를 해결하기 위해, 추적 정책 학습과 동시에 참조 모션을 로봇의 형태론에 적응시키는 이중 레벨 최적화(bilevel optimization) 방식을 사용했습니다. 이 프레임워크는 수동 튜닝 없이도 다양한 형태론에서 특징적인 운동을 보존하며 물리적으로 타당한 고품질 모션을 생성할 수 있음을 시뮬레이션 및 하드웨어 검증을 통해 입증했습니다.
5월 8일10
arXivAI 번역논문
LiVeAction: a Lightweight, Versatile, and Asymmetric Neural Codec Design for
LiVeAction은 웨어러블 또는 원격 감지 장치와 같이 대역폭 및 전력 제약이 있는 환경을 위해 설계된 경량화되고 다재다능하며 비대칭적인 신경 코덱입니다. 기존의 표준 코덱이나 생성 신경 코덱들은 특정 모달리티에 국한되거나 자원 소모가 커서 실용성이 떨어지는 한계가 있었습니다. LiVeAction은 FFT 유사 구조를 도입하여 인코더 복잡도를 줄이고, 적대적/지각 손실을 분산 기반 레이트 페널티로 대체하여 다양한 신호 모달리티에 적용 가능하면서도 우수한 성능과 낮은 전력 소모라는 두 마리 토끼를 잡았습니다.
5월 8일5
arXivAI 번역논문
Learned Neighbor Trust for Collaborative Deployment in Model-Agnostic
기존 분산 디스틸레이션 기법들은 훈련 시 협력에 초점을 맞추었으나, 실제 IoT 환경과 같이 이종적이고 자원이 제한적인 노드들이 존재하는 추론 단계에서는 각 노드를 고립시켜 배포하는 한계가 있었습니다. 본 연구는 모델에 구애받지 않는(model-agnostic) 프로토콜을 통해, 노드가 로컬 검증 증거를 기반으로 이웃의 신뢰도를 학습하고 이를 활용하여 훈련 중 협력을 정의하며 추론 시 배포 앙상블을 구성하는 방법을 제안합니다. 이 접근 방식은 적은 통신량으로도 높은 정확도를 달성하여 실제 분산 환경에 효과적으로 적용될 수 있습니다.
5월 7일10
arXivAI 번역논문
다중 모달 생리학적 신호 기반 운전자 행동 분류: SHAP 기반 엘리트 특징 선택과 하이브리드 그라디언트 부스팅
본 연구는 뇌파(EEG), 근전도(EMG), 전도성 피부 반응(GSR) 등 다중 모달 생리학적 신호를 활용하여 운전자 행동을 분류하는 해석 가능하고 확장 가능한 프레임워크를 제안합니다. 이 접근법은 SHAP 기반의 특징 선택을 통해 고차원성을 관리하고, XGBoost와 LightGBM 모델에 대한 베이지안 최적화를 거친 가중치 소프트-보팅 앙상블을 구축했습니다. 그 결과, 단일 모달 대비 현저히 높은 정확도(80.91%)와 매크로-F1 점수(0.79)를 달성하며 다중 모달 융합의 우월성을 입증하고 모델 해석 가능성까지 확보했습니다.
5월 7일9
arXivAI 번역논문
Windows COM 바이너리의 Agentic Vulnerability Reasoning: SLYP
SLYP는 Windows COM(Component Object Model) 바이너리의 경쟁 조건 취약점을 발견하고 검증된 PoC 코드를 생성하는 엔드 투 엔드 에이전트 기반 파이프라인입니다. 이 시스템은 바이너리 탐색, COM 점검, 동적 디버깅 기능을 재사용 가능한 도구 인터페이스로 제공하여 AI 에이전트가 취약점 발견부터 검증된 PoC 생성까지의 전 과정을 수행할 수 있도록 지원합니다. 벤치마크 결과와 실제 테스트에서 SLYP는 기존 코딩 에이전트보다 월등히 높은 성능을 보여주었으며, 미공개 취약점을 다수 발견하여 보안 가치를 입증했습니다.
5월 7일6
arXivAI 번역논문
CuBridge: LLM 기반의 고품질 Attention 커널 이해 및 재구성 프레임워크
CuBridge는 다양한 attention 변형을 지원하는 고품질의 CUDA attention 커널을 재구성하기 위한 새로운 프레임워크입니다. 이 프레임워크는 전문가가 작성한 CUDA 코드를 구조화된 lift-transfer-lower 워크플로우를 통해 추상화하고, 실행 가능한 중간 표현(IR)으로 승격시킵니다. 사용자가 PyTorch 사양만 제공하면 CuBridge가 최적화되고 정확성이 보장되는 CUDA 코드를 자동으로 생성하여, 기존 방법들의 성능 및 유연성 문제를 해결합니다.
5월 7일6
arXiv논문
데이터 리프팅에서 연속적 위험 추정까지: 임상 경로 예측 모니터링을 위한 프로세스 인식 파이프라인
본 논문은 임상 경로의 예측 모니터링을 위해 데이터 리프팅, 시간적 재구성, 이벤트 로그 구축 등을 통합한 프로세스 인식 파이프라인을 제시합니다. 이 프레임워크는 부분적으로 관찰된 환자 경로에 대해 연속적인 위험 추론을 지원하며, 전통적인 후속적 프로세스 마이닝의 한계를 극복합니다. COVID-19 임상 경로 데이터로 평가했을 때, 접두사 기반 분석은 초기 단계부터 점진적으로 예측 성능을 향상시켜, 진화하는 환자 여정 전반에 걸쳐 효과적인 위험 추정이 가능함을 입증했습니다.
5월 6일9
arXiv논문
이진 신경망의 정보 평면 (IP) 분석
이 논문은 심층 신경망의 학습 동역학을 분석하기 위해 정보 평면(IP) 개념을 이진 신경망(BNNs)에 적용합니다. 고차원 표현에서 상호 정보(MI) 추정의 어려움을 극복하고자, BNNs의 활성화가 이산적이고 MI가 유한하다는 특성을 활용했습니다. 연구 결과, 후기 압축 현상이 자주 관찰되지만, 압축된 잠재 표현이 반드시 일반화 성능 개선과 일관되게 연결되는 것은 아니며, 그 관계는 작업 및 정규화 기법에 크게 의존함을 밝혀냈습니다.
5월 6일9
arXiv논문
ELAS: 2:4 활성화 희소성을 통한 저랭크 대형 언어 모델의 효율적 사전 학습
본 논문은 대규모 언어 모델(LLMs) 훈련의 높은 계산 비용 문제를 해결하기 위해 'ELAS'라는 새로운 프레임워크를 제안합니다. ELAS는 저랭크(low-rank) 모델에 2:4 구조적 활성화 희소성을 적용하여, 특히 푸드포워드 네트워크의 제곱 ReLU 활성화 과정에서 메모리 효율성과 계산 가속화를 동시에 달성하는 것이 핵심입니다. 실험 결과, ELAS는 LLaMA와 같은 대형 모델에서 성능 저하를 최소화하면서 훈련 및 추론 속도를 크게 향상시키는 것으로 나타났습니다.
5월 6일10
arXiv논문
코드에서 예측으로: NNGPT 프레임워크를 통한 신경망 성능 분류를 위한 LLM 미세 조정
본 기술 기사는 NNGPT 프레임워크를 소개하며, LLM이 주어진 신경망 아키텍처가 여러 데이터셋 중 어느 것에서 더 높은 성능을 낼지 예측하는 분류 작업을 제시합니다. 이 작업은 표준화된 LEMUR 데이터셋을 기반으로 하며, 미세 조정된 DeepSeek-Coder 모델을 사용하여 최대 80%의 정확도를 달성했습니다. 연구 결과는 LLM이 아키텍처 소스 코드 자체에서 교차 데이터셋 적합성을 예측할 수 있음을 입증하며, 이는 단순 메타데이터보다 더 풍부한 정보를 제공함을 보여줍니다.
5월 6일10
arXiv논문
Nora: 대규모 모델 훈련을 위한 확장 가능한 행렬 최적화기 (Normalized Orthogonal Row Alignment)
Nora는 대형 언어 모델(LLM) 훈련의 안정성과 효율성 문제를 해결하기 위해 제안된 새로운 행렬 최적화기입니다. 이 최적화기는 row-wise momentum projection을 통해 가중치 노름과 각속도를 명시적으로 안정화하여 훈련 안정성을 확보합니다. 또한, Transformer Hessian의 구조적 특성을 활용하여 계산 복잡도를 $\text{O}(mn)$으로 유지하면서도 효과적인 사전 조건화(preconditioning)를 가능하게 하여 대규모 모델 훈련에 매우 효율적입니다.
5월 6일7
arXiv논문
고성능 모바일 NPU 를 위한 지식 증류 기반 실용 이미지 노이즈 제거
본 논문은 모바일 NPU 환경에 최적화된 실용적인 이미지 노이즈 제거 모델을 제안합니다. 고성능의 Teacher 네트워크 지식을 경량화된 Student 네트워크로 증류하는 '하드웨어 인식 지식 증류' 방법을 사용하며, 이는 모바일 SoC의 타일 메모리 구조와 NPU 네이티브 연산자(3x3 컨볼루션 등)를 적극적으로 활용합니다. 그 결과, 파라미터 수를 획기적으로 줄이면서도 높은 복원 품질을 유지하고, 전용 NPU 실행 시 통합 GPU 대비 월등히 빠른 추론 속도를 달성하여 모바일 AI 배포의 실용성을 크게 향상시켰습니다.
5월 6일11
arXiv논문
ICU 시계열 데이터의 모델 이식성을 평가하는 도메인 인크리멘탈 지속 학습 벤치마크
본 연구는 대형 병원에서 훈련된 머신러닝 모델을 지역적 특성이 다른 소규모 병원으로 이식할 때 발생하는 일반화 능력 문제를 다룹니다. 이를 해결하기 위해, 미국 전역의 다양한 지역 간 데이터 분포 차이를 반영하여 모델의 '도메인 인크리멘탈 지속 학습' 능력을 평가하는 새로운 벤치마크를 제안합니다. 이 벤치마크는 모델이 새로운 도메인의 정보를 효과적으로 흡수하면서도 기존 지식을 유지할 수 있는 방법을 검증하며, 데이터 리플레이와 EWC 같은 주요 지속 학습 기법들을 비교 평가합니다.
5월 6일7