Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
PagedWeight: 동적 품질 인식 가중치 양자화(Dynamic Quality-Aware Weight Quantization)를 통한
MoE 모델 서빙 시 발생하는 가중치 메모리와 KV cache 간의 트레이드오프를 해결하기 위한 PagedWeight를 제안합니다. 런타임에 전문가 가중치를 동적으로 양자화하여 메모리 효율성과 모델 정확도 사이의 균형을 최적화합니다.
7월 20일0
arXivAI 번역논문
장기 시간 지평 마르코프 의사결정 과정의 공변량 균형 평가
본 논문은 오프라인 강화학습(RL) 기반 치료 권고 연구에서 숨겨진 교란이나 모델 오지정 문제를 감지하기 위한 공변량 균형 진단 방법을 탐구합니다. 기존의 오프라인 RL 연구들은 편향 위험이 높거나, 현재 사용되는 공변량 균형 지표만으로는 충분히 평가할 수 없음을 보여줍니다.
7월 17일0
arXivAI 번역논문
컨텍스트 밴딧 오프라인 평가를 위한 커널 가중 중요 샘플링
본 논문은 컨텍스트 밴딧에 대해 오프라인 데이터만을 활용하여 오프-폴리시 평가를 수행하는 새로운 추정기인 Kernel-WIS를 제안합니다. 이 방법론은 점근적 일관성을 가지며, 행동 정책 사양 오류와 같은 복잡한 조건에서도 기존의 가중 중요 샘플링보다 우수한 성능을 보였습니다.
7월 17일0
arXivAI 번역논문
NeuronSoup: 역전파(Backpropagation) 없이 비동기적이고 공유된 뉴런의 시간 그래프를 진화시키는 방법
NeuronSoup은 기존 딥러닝의 동기적 계층 처리 방식을 공유 뉴런 풀을 이용한 비동기적 신호 전파로 대체하는 신경 계산 아키텍처입니다. 이 시스템은 유전 알고리즘으로 진화하며, 물리적으로 공유되는 은닉 뉴런들이 간섭 현상을 통해 정보를 전달합니다. MNIST 분류 실험에서 10,000세대 만에 85.9%의 테스트 정확도를 달성했습니다.
7월 17일0
arXivAI 번역논문
사전 훈련된 LLM을 위한 인플레이스 토크나이저 확장
본 논문은 사전 훈련된 LLM의 토크나이저를 업그레이드하는 '인플레이스(in-place)' 확장 레시피를 제안합니다. 기존 BPE 병합을 다국어 코퍼스에 적용하여 어휘 크기를 늘리면서도, 모델 가중치와 임베딩 행렬을 효율적으로 업데이트하는 방법을 제시했습니다. 이를 통해 온디바이스 환경에서도 새로운 언어를 효과적으로 지원하며 디코드 속도를 크게 향상시킬 수 있습니다.
7월 17일0
arXivAI 번역논문
데이터 기반 블록 교체 스케줄링
본 논문은 $N$개의 기계를 유지하기 위한 데이터 기반 블록 교체 스케줄링 알고리즘을 제안합니다. 수명 분포를 모르는 상황에서 운영 데이터를 활용하여 비용 최소화 간격 $k^*$를 학습하는 것이 목표입니다. 이를 확률적 다중 팔 밴딧 문제로 공식화하고, 최적의 후회(regret)를 달성하는 신뢰 구간 알고리즘을 제시합니다.
7월 17일0
arXivAI 번역논문
재학습 불필요 추천을 위한 가변 저랭크 스케치
본 논문은 추천 시스템의 주요 문제인 임베딩 노후화(embedding staleness)를 해결하기 위해 가변 스케치(mutable sketches) 기법을 제안합니다. 이 방법은 사용자의 선호도를 KP-tree에 저장하고, 실시간으로 저랭크 투영을 통해 임베딩을 재계산하여 추천의 정확도와 속도를 동시에 개선했습니다.
7월 17일0
arXivAI 번역논문
동적 신규 뷰 합성을 위한 온라인 신경 공간 시간 메모리
본 논문은 다중 뷰 스트리밍 비디오에서 새로운 시점 합성(novel view synthesis) 시 발생하는 메모리 유지와 실시간 처리의 상충 관계를 해결하는 방법을 제안합니다. 기존 방식이 매 프레임마다 무거운 기울기 기반 업데이트를 요구하여 계산 비용과 불안정성을 초래했던 문제를 개선했습니다.
7월 17일0
arXivAI 번역논문
RoboTTT: 로봇 정책을 위한 컨텍스트 스케일링
RoboTTT는 로봇 정책 모델의 컨텍스트 길이를 8K 타임스텝까지 확장하는 새로운 방법론입니다. 이는 추론 지연 시간 증가 없이 시각-운동 컨텍스트를 대폭 늘려, 원샷 모방, 실시간 정책 개선 등 장기 작업에서 성능을 크게 향상시킵니다. 이 기술은 Test-Time Training을 통합하여 로봇 모델의 능력을 끌어올리며, 컨텍스트 길이가 중요한 스케일링 축임을 입증했습니다.
7월 17일0
arXivAI 번역논문
MeanFlowNFT: 평균 속도 생성기에 Forward-Process RL 적용
MeanFlowNFT는 평균 속도 예측 기반의 MeanFlow 생성기에 강화학습(RL) 프레임워크를 적용한 모델입니다. 기존 DiffusionNFT가 순간 속도를 최적화하는 것과 달리, MeanFlowNFT는 평균 속도를 유지하며 RL 튜닝을 수행합니다. 이를 통해 적은 샘플링 단계만으로도 높은 품질의 이미지 및 비디오 생성을 달성하여 기존 SOTA 모델들을 능가함을 입증했습니다.
7월 17일0
arXivAI 번역논문
무한소 비구성적 스케치에서의 학습 (Learning in Infinitesimal Non-Compositional Sketches)
본 논문은 '무한소 비구성적 스케치에서의 학습(LINCS)'이라는 범주론적 틀을 제시하며, 머신러닝 문제를 일반화된 스케치로 정의합니다. 이는 기존의 손실 함수나 벡터 공간 가정을 넘어선 보편 인수분해 문제 실패를 통해 비구성성을 다룹니다. 또한 연속적인 접선 전개(successive tangent unfoldings)를 통해 ML을 코알게브라적 고정점 찾기로 공식화했습니다.
7월 17일0
arXivAI 번역논문
BadWAM: 월드-액션 모델이 올바르게 꿈꾸지만 잘못 행동할 때
본 논문은 월드-액션 모델(WAMs)의 취약점을 다루며, WAM이 상상하는 미래와 실제 행동 간의 불일치를 공격하는 BadWAM 프레임워크를 제안합니다. 이 적대적 공격은 시각적 교란을 통해 WAM의 정렬을 깨뜨리며, 명백한 액션 하이재킹부터 은밀한 비동기화까지 다양한 실패 스펙트럼을 포착합니다.
7월 17일0
arXivAI 번역논문
On-Policy Delta Distillation
본 논문은 강화학습의 대안적 방법인 온-정책 증류(on-policy distillation)를 개선한 새로운 기법을 제안합니다. 기존 방식 대신, 교사 모델과 기본 모델 간의 차이인 '델타 신호'를 활용하여 추론 능력을 전이하는 것이 핵심입니다. 이를 통해 LLM이 짧은 훈련만으로도 강력한 성능을 달성할 수 있음을 입증했습니다.
7월 17일0
arXivAI 번역논문
AlphaWiSE: 지속적인 멀티모달 표현 학습을 위한 적응형 가중치 보간
본 논문은 멀티모달 모델의 지속적 적응 문제를 해결하기 위해 AlphaWiSE를 제안합니다. 기존 방법들이 단일 체크포인트에 의존하는 한계를 극복하고, 두 개의 고정된 소스 체크포인트를 조합하여 가중치 공간을 보간하는 새로운 방식을 제시했습니다. 이 방식은 추가적인 추론 시간 없이도 강력한 지속 학습 성능을 보여줍니다.
7월 17일0
arXivAI 번역논문
조정되지 않은 Hamiltonian Monte Carlo 및 감쇠된 Langevin에서의 편향 비국소화
본 연구는 조정되지 않은 Hamiltonian Monte Carlo 및 감쇠된 Langevin과 같은 샘플러의 편향 비국소화 현상을 확장했습니다. 변수 간 상호작용이 약하거나 희소할 때, 고차원 분포의 $K$차원 주변분포의 $W_2$ 편향을 제어하는 데 필요한 적분 단계 수를 분석했습니다. 이 연구는 새로운 행렬-다항식 프레임워크를 제시하며, 감쇠된 Langevin 알고리즘에 대한 결과를 확장하여 광범위한 적용 가능성을 입증합니다.
7월 17일0
arXivAI 번역논문
MetaPerch: 생물음향학(bioacoustics) 메타데이터를 활용한 파운데이션 모델 학습
본 논문은 생물음향학 분야의 파운데이션 모델 MetaPerch를 소개하며, Xeno-Canto 같은 대규모 데이터셋을 활용합니다. 특히 위치 및 시간과 같은 녹음 메타데이터를 보조 감독 신호로 사용하여 모델이 종-메타데이터 상관관계를 학습하도록 합니다. 이를 통해 실제 환경에 더 잘 일반화되는 견고한 표현을 얻는 것을 목표로 합니다.
7월 16일0
arXivAI 번역논문
최적 수송을 이용한 선형 독립 성분 분석 (Linear Independent Component Analysis)
본 논문은 선형 독립 성분 분석(ICA)의 한계를 극복하기 위해 새로운 접근법을 제안합니다. 기존 ICA가 네겐트로피 최대화에 의존했던 것과 달리, 이 연구는 표준 가우시안 분포와의 제곱 바서슈타인 거리($W_2^2$)를 사용하여 비가우시안성을 측정하는 OT-ICA 알고리즘을 개발했습니다. 시뮬레이션 및 실제 응용(EEG 아티팩트 제거, 계량 경제학)에서 그 우수성을 입증했습니다.
7월 16일0
arXivAI 번역논문
VAIOM: 연속 입력 및 이산 출력 디코더 전용 금융 시퀀스 모델링
VAIOM은 연속적인 금융 관측치와 이산적인 다음 토큰 예측을 결합하는 디코더 전용 트랜스포머 모델입니다. 이는 외환 봉의 확률적 다음 수익률 모델링에 사용되며, 입력과 출력 가능도를 분리하여 수치 구조 보존 및 범주형 분포 학습을 지원합니다. 테스트 결과, VAIOM은 기존 LightGBM 기준선보다 우수한 성능을 입증했습니다.
7월 16일0
arXivAI 번역논문
TRACE: 크레딧 추정 기반의 턴별 보상 할당을 통한 장기 지평 에이전트 학습
본 논문은 복잡한 멀티턴 에이전트의 장기 지평 학습에서 발생하는 크레딧 할당 문제를 해결하기 위해 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다. TRACE는 롤아웃을 상태 전이로 보고, 참조 모델의 로그 확률 변화를 이용해 행동별 보상을 도출하는 조밀한 방법을 사용합니다. 이 방법은 추가적인 비평가나 복잡한 훈련 없이도 에이전트의 도구 사용 능력을 크게 향상시킵니다.
7월 16일0
arXivAI 번역논문
종단적 및 시간-이벤트 모델링을 위한 다중모드 경험적 베이즈 변분 오토인코더
본 논문은 종단적 측정값, 드롭아웃 정보, 유전적 공변량을 통합하는 경험적 베이즈 변분 오토인코더(EB-VAE) 프레임워크를 제안합니다. 이 프레임워크는 잠재 개체 효과와 위험 모델을 결합하여 종양 성장과 드롭아웃 시간을 공동으로 예측하며, 유전학적 조건화 기능을 통해 높은 사전 예측 성능을 달성했습니다.
7월 16일0