Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
훈련이 필요 없는 RLVR 데이터 선택을 위한 단일 롤아웃 은닉 상태 역학 (Single-Rollout Hidden-State Dynamics)
RLVR 강화학습의 데이터 선택 병목 현상을 해결하기 위해 훈련 없이 은닉 상태 변화량(RIRS)을 활용하는 SHIFT를 제안합니다. 단일 롤아웃만으로 데이터의 유용성을 파악하여 효율적인 코어셋을 생성하며, 수학 및 의료 분야에서 우수한 성능을 입증했습니다.
5월 28일0
arXivAI 번역논문
지수적으로 감쇠하는 메모리를 통한 Attention 보강이 Query-Aware KV Sparsity를 개선함
RAT+ 연구를 통해 지수적으로 감쇠하는 메모리가 Query-Aware KV Sparsity를 어떻게 개선하는지 분석합니다. Quest, SnapKV 등 기존 희소 어텐션 방식보다 높은 정확도를 보임을 검증했습니다.
5월 28일0
arXivAI 번역논문
부분 공간 투영(Subspace Projection)에 대한 해석 가능성 기반 계층 선택: 원시 작업 벡터 모델 편집을 위한
Gemma-3-4B-IT를 대상으로 SAE를 활용한 모델 편집 연구를 수행하여, 작업 벡터를 SAE 부분 공간에 투영할 때 발생하는 정보 병목 현상을 규명했습니다. SAE를 직접적인 편집 도구가 아닌 계층 진단 도구로 활용함으로써 수학적 추론 성능을 유의미하게 향상시키는 새로운 프레임워크를 제안합니다.
5월 28일0
arXivAI 번역논문
생물학적 시스템의 역학 예측을 위한 시계열 그래프 학습의 응용
본 연구는 정적인 파운데이션 모델의 한계를 극복하기 위해 시계열 그래프 학습을 활용하여 세포의 시간적 진화 과정을 모델링합니다. 유전자 조절 네트워크를 진화하는 그래프 구조로 표현함으로써, 기존 모델보다 뛰어난 유전자 발현 및 조절 역학 예측 성능을 입증했습니다.
5월 28일0
arXivAI 번역논문
합성 데이터 생성(Synthetic Data Generation)을 위한 활성화 스티어링(Activation Steering): 다운스트림
활성화 스티어링(Activation Steering)을 활용하여 안전 탐지 모델 학습을 위한 고품질 합성 데이터를 생성하는 연구를 다룹니다. 스티어링 강도가 높아질수록 응답의 다양성이 감소함을 발견했으며, 성공성, 일관성, 다양성의 조화 평균이 다운스트림 성능과 높은 상관관계를 보임을 입증했습니다.
5월 28일0
arXivAI 번역논문
점진적 특이값 분해(iSVD)를 통한 이력 인식 적응형 차수 축소 모델
점진적 특이값 분해(iSVD)를 활용하여 온라인 동역학 변화에 적응하는 차수 축소 모델(ROM) 프레임워크를 제안합니다. 이 모델은 이력 인식 특성을 통해 기존 방식보다 높은 예측 정확도와 계산 효율성을 보여줍니다.
5월 28일0
arXivAI 번역논문
강화학습을 위한 최적의 데이터 수집: 대편차(Large Deviations) 관점
무한 시계 강화학습 환경에서 데이터 수집 효율성을 극대화하기 위한 대편차(Large Deviations) 프레임워크를 제안합니다. 정책 선택 오류 확률의 지수적 감소율을 지표로 사용하여 최적의 데이터 수집 정책을 도출하는 이론적 방법론과 알고리즘을 다룹니다.
5월 28일0
arXivAI 번역논문
최적의 릿지 규제화(Ridge Regularization) 재고
유한 데이터 샘플과 가법적 등방성 노이즈 환경에서 릿지 회귀의 최적 규제화 강도를 계산하는 반복 절차를 제안합니다. 제안된 방법은 다양한 데이터 조건에서도 근사 최적의 일반화 성능을 보이며 수렴성이 증명되었습니다.
5월 28일0
arXivAI 번역논문
양자 상태 분포에 대한 보편적 근사 도구로서의 잠재 조건부 매개변수화 양자 회로 (Latent-Conditioned Parameterized
양자 상태 앙상블을 효율적으로 생성하기 위한 하이브리드 양자-고전 프레임워크인 LPQC를 제안합니다. 잠재 변수를 양자 회로 매개변수에 매핑하여 양자 분포를 보편적으로 근사할 수 있음을 증명했습니다.
5월 28일0
arXivAI 번역논문
임의의 축약 순서 및 부정확한 활성화 함수 구현을 가진 부동 소수점 신경망의 표현력
본 연구는 실제 구현 환경인 유한 정밀도 부동 소수점 산술 하에서의 신경망 표현력을 분석합니다. 임의의 축약 순서와 부정확한 활성화 함수 구현을 포함하는 일반화된 실행 의미론을 도입하여, 다양한 실제 활성화 함수들의 보편적 표현 가능성을 증명합니다.
5월 28일0
arXivAI 번역논문
인컨텍스트 지속 학습 (In-Context Continual Learning)에서의 일반화와 망각에 대한 이해
본 연구는 LLM이 프롬프트 내에서 순차적인 작업을 수행할 때 발생하는 인컨텍스트 지속 학습의 메커니즘을 분석합니다. 어텐션 메커니즘이 작업 간 간섭을 유발하여 일반화와 망각에 미치는 영향을 이론적 프레임워크로 규명합니다.
5월 28일0
arXivAI 번역논문
확산 모델(Diffusion Models)을 이용한 제로샷 역문제(Zero-shot Inverse Problems)에서의 단계별 왜곡-지각 탐색
확산 모델을 활용하여 제로샷 역문제에서 왜곡과 지각 품질 사이의 트레이드오프를 조절하는 MAP-RPS 프레임워크를 제안합니다. MAP 추정 단계와 재노이즈 후험 샘플링 단계를 통해 왜곡 성능과 시각적 품질을 단계적으로 탐색할 수 있습니다.
5월 28일0
arXivAI 번역논문
VLA가 서로 다르게 실패하는 방식: 블랙박스 동작 모니터링을 통한 아키텍처별 실패 시그니처 규명
VLA(Vision-Language-Action) 아키텍처별로 발생하는 실패 방식이 근본적으로 다름을 규명한 연구입니다. VQ-BeT, Diffusion Policy, ACT 모델을 비교 분석하여 아키텍처 특성에 맞는 모니터링 전략의 필요성을 입증했습니다.
5월 28일0
arXivAI 번역논문
무기로서의 코드: 악성 코드 요청에 대한 코딩 모델의 준수 여부를 측정하기 위한 합의 라벨링 프롬프트 뱅크
코딩 모델이 악성 코드 생성 요청에 응답하는 위험성을 측정하기 위해, 실행 가능한 코드와 유해 지식을 구분하는 새로운 프롬프트 뱅크를 제안합니다. 8개의 기존 코퍼스를 통합하고 5인 판사 합의 프로토콜을 통해 신뢰도 높은 벤치마크를 구축했습니다.
5월 28일0
arXivAI 번역논문
LLM의 Zeroth-Order 미세 조정(Fine-Tuning)은 추론 워크로드(Inference Workload)이다
Zeroth-Order(ZO) 미세 조정이 추론 중심의 워크로드임을 입증하고, 이를 서빙 런타임에서 실행하여 학습 속도를 획기적으로 높이는 연구를 소개합니다. vLLM을 활용해 기존 방식 대비 최대 8.13배의 속도 향상을 달성하며 추론 시점 학습의 가능성을 제시합니다.
5월 28일0
arXivAI 번역논문
Lipschitz를 넘어: 이산 연속성 계수 (Discrete Modulus of Continuity)를 통한 데이터 기반 강건성
본 논문은 기존 Lipschitz 상수의 한계를 극복하기 위해 이산 연속성 계수(DMOC)를 활용한 데이터 기반 강건성 평가 프레임워크를 제안합니다. 모델 내부 정보 없이 데이터 분포의 정규성을 평가하며, 대규모 데이터셋 적용을 위한 확장 가능한 미니배치 알고리즘을 포함합니다.
5월 28일0
arXivAI 번역논문
멀티 레이블 학습 (Multi-Label Learning)에서 일반화된 지표 (Generalized Metrics) 최적화를 위한 원칙적인
멀티 레이블 학습에서 F-measure와 Jaccard index 같은 복잡한 지표를 최적화하기 위한 새로운 알고리즘과 이론적 프레임워크를 제안합니다. H-일관성에 기반한 새로운 대리 손실 함수를 설계하여 비점근적 보장을 제공하며, MMO 알고리즘을 통해 대규모 데이터셋에서도 뛰어난 성능을 입증했습니다.
5월 28일0
arXivAI 번역논문
Multi-Mixer 모델: 공유 표현을 통한 유연한 시퀀스 모델링 (Flexible Sequence Modeling with Shared
Oryx는 이차 attention과 선형 순환 모델 사이를 유연하게 전환할 수 있는 새로운 하이브리드 모델 아키텍처를 제안합니다. 매개변수의 90% 이상을 공유하여 효율적인 연산과 풍부한 문맥 활용을 동시에 달성하며, 1.4B 규모에서 기존 베이스라인보다 우수한 성능을 입증했습니다.
5월 28일0
arXivAI 번역논문
편향은 그래디언트 흔적을 남긴다: 개념 분해에 대한 그래디언트 프로브를 통한 라벨 없는 편향 식별
고정된 비전 모델에서 라벨 없이 가짜 상관관계를 식별하는 새로운 사후(post-hoc) 분석 방법을 제안합니다. NMF와 그래디언트 상호작용을 활용해 편향된 개념을 추출하며, 재학습 없이도 모델의 최악 그룹 정확도를 크게 향상시킵니다.
5월 28일0
arXivAI 번역논문
Ω-QVLA: 복합 회전 및 단계별 스케일링을 통한 Vision-Language-Action 모델의 강건한 양자화 (Quantization)
Omega-QVLA는 VLA 모델의 온디바이스 배포를 위해 제안된 최초의 훈련 불필요 사후 양자화 프레임워크입니다. 복합 SVD-Hadamard 회전과 단계별 스케일링 기술을 통해 액션 헤드까지 균일한 W4A4 정밀도로 압축하면서도 높은 작업 성공률을 유지합니다.
5월 28일0