Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
사전 훈련된 LLM을 위한 인플레이스 토크나이저 확장
본 논문은 사전 훈련된 LLM의 토크나이저를 업그레이드하는 '인플레이스(in-place)' 확장 레시피를 제안합니다. 기존 BPE 병합을 다국어 코퍼스에 적용하여 어휘 크기를 늘리면서도, 모델 가중치와 임베딩 행렬을 효율적으로 업데이트하는 방법을 제시했습니다. 이를 통해 온디바이스 환경에서도 새로운 언어를 효과적으로 지원하며 디코드 속도를 크게 향상시킬 수 있습니다.
7월 17일0
arXivAI 번역논문
데이터 기반 블록 교체 스케줄링
본 논문은 $N$개의 기계를 유지하기 위한 데이터 기반 블록 교체 스케줄링 알고리즘을 제안합니다. 수명 분포를 모르는 상황에서 운영 데이터를 활용하여 비용 최소화 간격 $k^*$를 학습하는 것이 목표입니다. 이를 확률적 다중 팔 밴딧 문제로 공식화하고, 최적의 후회(regret)를 달성하는 신뢰 구간 알고리즘을 제시합니다.
7월 17일0
arXivAI 번역논문
재학습 불필요 추천을 위한 가변 저랭크 스케치
본 논문은 추천 시스템의 주요 문제인 임베딩 노후화(embedding staleness)를 해결하기 위해 가변 스케치(mutable sketches) 기법을 제안합니다. 이 방법은 사용자의 선호도를 KP-tree에 저장하고, 실시간으로 저랭크 투영을 통해 임베딩을 재계산하여 추천의 정확도와 속도를 동시에 개선했습니다.
7월 17일0
arXivAI 번역논문
동적 신규 뷰 합성을 위한 온라인 신경 공간 시간 메모리
본 논문은 다중 뷰 스트리밍 비디오에서 새로운 시점 합성(novel view synthesis) 시 발생하는 메모리 유지와 실시간 처리의 상충 관계를 해결하는 방법을 제안합니다. 기존 방식이 매 프레임마다 무거운 기울기 기반 업데이트를 요구하여 계산 비용과 불안정성을 초래했던 문제를 개선했습니다.
7월 17일0
arXivAI 번역논문
RoboTTT: 로봇 정책을 위한 컨텍스트 스케일링
RoboTTT는 로봇 정책 모델의 컨텍스트 길이를 8K 타임스텝까지 확장하는 새로운 방법론입니다. 이는 추론 지연 시간 증가 없이 시각-운동 컨텍스트를 대폭 늘려, 원샷 모방, 실시간 정책 개선 등 장기 작업에서 성능을 크게 향상시킵니다. 이 기술은 Test-Time Training을 통합하여 로봇 모델의 능력을 끌어올리며, 컨텍스트 길이가 중요한 스케일링 축임을 입증했습니다.
7월 17일0
arXivAI 번역논문
MeanFlowNFT: 평균 속도 생성기에 Forward-Process RL 적용
MeanFlowNFT는 평균 속도 예측 기반의 MeanFlow 생성기에 강화학습(RL) 프레임워크를 적용한 모델입니다. 기존 DiffusionNFT가 순간 속도를 최적화하는 것과 달리, MeanFlowNFT는 평균 속도를 유지하며 RL 튜닝을 수행합니다. 이를 통해 적은 샘플링 단계만으로도 높은 품질의 이미지 및 비디오 생성을 달성하여 기존 SOTA 모델들을 능가함을 입증했습니다.
7월 17일0
arXivAI 번역논문
무한소 비구성적 스케치에서의 학습 (Learning in Infinitesimal Non-Compositional Sketches)
본 논문은 '무한소 비구성적 스케치에서의 학습(LINCS)'이라는 범주론적 틀을 제시하며, 머신러닝 문제를 일반화된 스케치로 정의합니다. 이는 기존의 손실 함수나 벡터 공간 가정을 넘어선 보편 인수분해 문제 실패를 통해 비구성성을 다룹니다. 또한 연속적인 접선 전개(successive tangent unfoldings)를 통해 ML을 코알게브라적 고정점 찾기로 공식화했습니다.
7월 17일0
arXivAI 번역논문
BadWAM: 월드-액션 모델이 올바르게 꿈꾸지만 잘못 행동할 때
본 논문은 월드-액션 모델(WAMs)의 취약점을 다루며, WAM이 상상하는 미래와 실제 행동 간의 불일치를 공격하는 BadWAM 프레임워크를 제안합니다. 이 적대적 공격은 시각적 교란을 통해 WAM의 정렬을 깨뜨리며, 명백한 액션 하이재킹부터 은밀한 비동기화까지 다양한 실패 스펙트럼을 포착합니다.
7월 17일0
arXivAI 번역논문
On-Policy Delta Distillation
본 논문은 강화학습의 대안적 방법인 온-정책 증류(on-policy distillation)를 개선한 새로운 기법을 제안합니다. 기존 방식 대신, 교사 모델과 기본 모델 간의 차이인 '델타 신호'를 활용하여 추론 능력을 전이하는 것이 핵심입니다. 이를 통해 LLM이 짧은 훈련만으로도 강력한 성능을 달성할 수 있음을 입증했습니다.
7월 17일0
arXivAI 번역논문
AlphaWiSE: 지속적인 멀티모달 표현 학습을 위한 적응형 가중치 보간
본 논문은 멀티모달 모델의 지속적 적응 문제를 해결하기 위해 AlphaWiSE를 제안합니다. 기존 방법들이 단일 체크포인트에 의존하는 한계를 극복하고, 두 개의 고정된 소스 체크포인트를 조합하여 가중치 공간을 보간하는 새로운 방식을 제시했습니다. 이 방식은 추가적인 추론 시간 없이도 강력한 지속 학습 성능을 보여줍니다.
7월 17일0
arXivAI 번역논문
조정되지 않은 Hamiltonian Monte Carlo 및 감쇠된 Langevin에서의 편향 비국소화
본 연구는 조정되지 않은 Hamiltonian Monte Carlo 및 감쇠된 Langevin과 같은 샘플러의 편향 비국소화 현상을 확장했습니다. 변수 간 상호작용이 약하거나 희소할 때, 고차원 분포의 $K$차원 주변분포의 $W_2$ 편향을 제어하는 데 필요한 적분 단계 수를 분석했습니다. 이 연구는 새로운 행렬-다항식 프레임워크를 제시하며, 감쇠된 Langevin 알고리즘에 대한 결과를 확장하여 광범위한 적용 가능성을 입증합니다.
7월 17일0
arXivAI 번역논문
MetaPerch: 생물음향학(bioacoustics) 메타데이터를 활용한 파운데이션 모델 학습
본 논문은 생물음향학 분야의 파운데이션 모델 MetaPerch를 소개하며, Xeno-Canto 같은 대규모 데이터셋을 활용합니다. 특히 위치 및 시간과 같은 녹음 메타데이터를 보조 감독 신호로 사용하여 모델이 종-메타데이터 상관관계를 학습하도록 합니다. 이를 통해 실제 환경에 더 잘 일반화되는 견고한 표현을 얻는 것을 목표로 합니다.
7월 16일0
arXivAI 번역논문
최적 수송을 이용한 선형 독립 성분 분석 (Linear Independent Component Analysis)
본 논문은 선형 독립 성분 분석(ICA)의 한계를 극복하기 위해 새로운 접근법을 제안합니다. 기존 ICA가 네겐트로피 최대화에 의존했던 것과 달리, 이 연구는 표준 가우시안 분포와의 제곱 바서슈타인 거리($W_2^2$)를 사용하여 비가우시안성을 측정하는 OT-ICA 알고리즘을 개발했습니다. 시뮬레이션 및 실제 응용(EEG 아티팩트 제거, 계량 경제학)에서 그 우수성을 입증했습니다.
7월 16일0
arXivAI 번역논문
TRACE: 크레딧 추정 기반의 턴별 보상 할당을 통한 장기 지평 에이전트 학습
본 논문은 복잡한 멀티턴 에이전트의 장기 지평 학습에서 발생하는 크레딧 할당 문제를 해결하기 위해 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다. TRACE는 롤아웃을 상태 전이로 보고, 참조 모델의 로그 확률 변화를 이용해 행동별 보상을 도출하는 조밀한 방법을 사용합니다. 이 방법은 추가적인 비평가나 복잡한 훈련 없이도 에이전트의 도구 사용 능력을 크게 향상시킵니다.
7월 16일0
arXivAI 번역논문
종단적 및 시간-이벤트 모델링을 위한 다중모드 경험적 베이즈 변분 오토인코더
본 논문은 종단적 측정값, 드롭아웃 정보, 유전적 공변량을 통합하는 경험적 베이즈 변분 오토인코더(EB-VAE) 프레임워크를 제안합니다. 이 프레임워크는 잠재 개체 효과와 위험 모델을 결합하여 종양 성장과 드롭아웃 시간을 공동으로 예측하며, 유전학적 조건화 기능을 통해 높은 사전 예측 성능을 달성했습니다.
7월 16일0
arXivAI 번역논문
랭크 변환: 깊이의 스펙트럼 병리 현상을 아키텍처가 탐색하는 방식
본 논문은 트랜스포머 피드포워드 블록 아키텍처에서 랭크(rank)가 깊이 전반에 걸쳐 어떻게 유지되는지 분석합니다. 기존의 이해를 넘어, 네트워크 표현력 확보 메커니즘을 '기울기 랭크 보존' 관점에서 재해석하며 스킵 연결과 정규화의 역할을 규명했습니다.
7월 16일0
arXivAI 번역논문
물리 기반 밀집 보상으로서의 Lyapunov 지수: Kapitza 진자 운동을 넘어서는 안정화에 대한 RL 발견
본 논문은 수직 운동이 있는 역진자 안정화 문제에 강화학습(RL)을 적용하고, 밀집 보상 신호로 Lyapunov 특성 지수(LCE)를 사용하는 방법을 제안합니다. 이 접근 방식을 통해 에이전트는 Kapitza 진자를 성공적으로 찾아내고, 진자의 회전을 감쇠시켜 수직 위치에 안정화시키는 것을 입증했습니다.
7월 16일0
arXivAI 번역논문
Lighthouse RL: 전략적 리셋 포인트를 통한 샘플 효율적인 회로 최적화
본 논문은 아날로그 회로 크기 설정을 위한 샘플 효율적인 강화학습(RL) 접근 방식인 Lighthouse RL을 제안합니다. 이 방법은 훈련 과정에서 발견된 고성능 구성('등대')으로부터 에피소드를 초기화하는 전략적 리셋 기법을 사용해 탐색의 비효율성을 해결했습니다. 실험 결과, 기존 대비 샘플 효율성과 최적화 성능 등 여러 면에서 큰 개선을 입증했습니다.
7월 16일0
arXivAI 번역논문
GitHub 프로젝트의 에이전트 코딩 도구 초기 채택 현황
본 논문은 2,361개 GitHub 저장소의 에이전트 PR 25,264개를 분석하여 에이전트 코딩 도구의 채택 현황과 인간-에이전트 협업 패턴을 조사했습니다. 연구 결과, 에이전트 기여는 소수 프로젝트에 집중되어 있으며, 소규모 프로젝트가 더 높은 활동성을 보였습니다. 또한, 인간 감독은 단일 개발자가 주도하는 모델이 지배적입니다.
7월 16일0
arXivAI 번역논문
다중 전문가 라우팅을 통한 다영역 저자원 OCR: 만주어 사례 연구
본 연구는 데이터가 제한적인 만주어 OCR 시스템을 다중 전문가 라우팅 방식으로 개선했습니다. 다양한 필기체를 수용하기 위해, 기존의 체크포인트들을 도메인별 전문가로 재사용하고 페이지 레벨 분류기를 통해 스타일별로 분배하는 시스템을 제안합니다. 이 시스템은 높은 정확도로 여러 필기체에 대한 OCR 성능을 입증했습니다.
7월 16일0