Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
Zero-Shot 이진 비전-언어 안전 분류에서 프롬프트 유도 점수 분산
본 논문은 제로샷(zero-shot) 비전-언어 모델(VLM)의 안전 분류에서 단일 프롬프트 기반 첫 토큰 확률 점수가 신뢰할 수 없음을 보여줍니다. 의미적으로 동등한 프롬프트를 사용하더라도, 같은 샘플에 대해 크게 다른 '안전하지 않은' 확률을 유도할 수 있습니다. 이러한 크로스-프롬프트 분산(cross-prompt variance)은 모델의 취약성을 진단하는 유용한 지표가 됩니다. 연구진은 훈련 없이 평균화한 임베딩(mean ensemble) 기법이 단일 프롬프트 기반 방식보다 성능을 개선하며, 이를 VLM 안전성 평가를 위한 표준적인 레이블 프리(label-free) 신뢰성 기준으로 제안합니다.
5월 4일6
arXivAI 번역논문
AgentFloor: 소형 오픈 웨이트 모델이 도구 사용 계단에서 얼마나 높은 곳에 도달할 수 있는가?
본 논문은 생성형 에이전트 시스템의 실질적인 설계 문제를 다루며, 모든 작업을 거대 모델에 의존하는 것이 비효율적임을 지적한다. 연구진은 'AgentFloor'라는 30가지 작업으로 구성된 계단식 벤치마크를 개발하여, 소규모 오픈 웨이트 모델이 일상적이고 구조화된 도구 사용 작업에서 매우 강력한 성능을 보인다는 것을 입증했다. 그 결과, 에이전트 시스템은 대부분의 작업을 소형 모델로 처리하고, 장기 계획이나 복잡한 제어가 필요한 좁은 영역에만 대규모 프론티어 모델을 사용하는 하이브리드 접근 방식이 가장 효율적임을 시사한다.
5월 4일7
arXivAI 번역논문
예산 감지 라우팅: 긴 임상 텍스트를 위한 최적화 전략
본 논문은 긴 임상 텍스트를 처리하는 대형 언어 모델(LLM)의 비용 및 지연 시간 제약 문제를 해결하기 위해 '예산 감지 컨텍스트 선택(Budgeted Context Selection)' 전략을 제시합니다. 이 방법론은 문서 단위의 부분 집합을 선택하여, 고정된 토큰 예산 내에서 관련성, 커버리지, 다양성을 최적화하는 knapsack-constrained subset selection 문제로 재정의됩니다. 연구진은 RCD라는 모노톤 서브모듈러 목적 함수를 제안하고, 다양한 유니티제이션 및 라우팅 휴리스틱을 비교 분석하여 LLM 성능 향상에 기여합니다.
5월 4일9
arXivAI 번역논문
모든 검증된 토큰을 활용하는 방법: MoE 스펠루세티브 디코딩을 위한 적응형 검증
EVICT는 희소 혼합 전문가(MoE) 모델을 위한 적응형 검증 기법으로, 기존 트리 기반 스펠루세티브 디코딩의 높은 계산 비용 문제를 해결합니다. EVICT는 드래프트 트리를 효율적으로 절단하여 필수적인 접두사만 유지하고, 모든 검증된 토큰이 세분화된 신호를 활용해 후보를 평가함으로써 자원 낭비를 줄입니다. 이 방법은 MoE 백본과 결합되어 자기회귀 디코딩 대비 최대 2.35배의 속도 향상을 달성하며, 기존 최첨단 기법보다도 우수한 성능을 보여줍니다.
5월 4일9
arXivAI 번역논문
Odysseus: 게임 내 100 회 이상의 결정 작업을 위한 VLM 확장
본 논문은 시각-언어 모델(VLM)의 역량을 비디오 게임과 같은 장기적이고 상호작용적인 결정 작업으로 확장하기 위한 새로운 RL 기반 훈련 프레임워크인 Odysseus를 제안합니다. 기존 VLM 접근법이 짧은 지평이나 대규모 감독 데이터에 의존했던 한계를 극복하고, Super Mario Land와 같은 환경에서 100회 이상의 연속적인 상호작용을 성공적으로 수행하는 것을 목표로 합니다. 연구진은 PPO 변형과 경량화된 크리틱(critic) 적용을 통해 훈련 안정성과 샘플 효율성을 개선했으며, 사전 학습된 VLM이 제공하는 행동 선행 확률(action priors)의 활용을 통해 수동 설계 의존도를 낮추고 실질적인 성능 향상을 입증했습니다.
5월 4일5
arXivAI 번역논문
신뢰성 높은 다비트 텍스트 워터마킹을 위한 블록 단위 코드워드 임베딩 (BREW)
본 논문은 기존 LLM 다비트 워터마킹 기법들이 낮은 신뢰성과 높은 위양성률(FPR)을 보이는 구조적 문제를 지적하며, 이를 해결하기 위해 BREW(Block-wise Reliable Embedding for Watermarking)라는 새로운 프레임워크를 제안합니다. BREW는 독립적인 블록 투표와 윈도우 시프트 검증이라는 두 단계 메커니즘을 사용하여 워터마킹의 신뢰성을 혁신적으로 높였습니다. 실험 결과, 이 방법은 동의어 치환 조건에서도 높은 진양성률(TPR)과 낮은 위양성률(FPR)을 동시에 달성하여, 기존 설계의 한계를 극복했음을 입증했습니다.
5월 4일9
arXivAI 번역논문
MemRouter: 장기 대화 에이전트의 외부 메모리 저장 결정에 대한 임베딩 기반 라우팅
MemRouter는 장기 대화 에이전트가 외부 메모리에 어떤 대화 턴을 저장할지 결정하는 과정을 개선한 쓰기측면(write-side) 메모리 라우터입니다. 기존 시스템들이 매 턴마다 LLM 생성을 통해 이 결정을 내리는 것과 달리, MemRouter는 임베딩 기반의 경량 분류 헤드를 사용하여 효율적으로 메모리 수용 여부를 예측합니다. 실험 결과, MemRouter는 기존 LLM 기반 메모리 관리자보다 모든 질문 카테고리에서 높은 성능을 보였으며, 특히 메모리 관리 지연시간을 크게 줄여 실시간 응답성을 향상시켰습니다.
5월 4일9
arXivAI 번역논문
Backward Spreading 에서 Forward Replay 로: LLM 파라미터 편집의 타겟 구성 재검토
기존 LLM 파라미터 편집 기법은 목표 레이어에서 계산된 이상적인 히든 스테이트를 이전 레이어로 역전파(backward spreading)하여 적용하는 방식이었습니다. 본 논문은 이 방법의 이론적 한계와 실패 모드를 분석하고, 이를 개선한 새로운 접근 방식을 제안합니다. 새롭게 제안된 'Forward Replay' 기법은 첫 번째 편집 레이어에서 앵커 포인트를 최적화하고 이를 순전파(forward propagation)하여 모든 후속 레이어의 타겟 히든 스테이트를 얻습니다. 이 방법은 기존 방식과 동일한 계산 복잡도를 유지하면서도 더 정확하고 상호 호환성이 높은 레이어별 타겟을 생성합니다.
5월 4일4
arXivAI 번역논문
무엇을 잊어야 할지: 언어 모델의 정밀한 학습 소거를 위한 토큰 레벨 귀속
본 논문은 대규모 언어 모델(LLMs)의 프라이버시 및 안전성 문제를 해결하기 위한 '토큰 레벨 귀속' 학습 소거 프레임워크인 TokenUnlearn을 제안합니다. 기존 방법들이 모든 토큰에 균일한 업데이트를 적용하는 한계를 극복하고, 지식 인식 및 엔트로피 인식 신호를 활용하여 중요한 토큰을 정밀하게 식별합니다. 이 프레임워크는 하드 선택과 소프트 가중치 두 가지 전략을 통해 학습 소거의 효과를 높이면서 모델 유틸리티 저하를 최소화함을 입증했습니다.
5월 4일13
arXivAI 번역논문
균일-정확 정책 최적화: RLVR 의 다양성 무관성에 대한 돌파
본 논문은 강화학습(RLVR) 모델이 단일 시도 정확도는 높지만, 다중 샘플 커버리지(Pass@K)에서 다양성 붕괴를 겪는 문제를 분석하고 해결책을 제시합니다. 기존 RL 목표 함수가 올바른 해답들의 확률 분포에 무관하여 발생하는 '자기 강화 붕괴' 메커니즘을 공식화했습니다. 이를 바탕으로, 정책의 올바른 해답 분포에 조건부 균일성 페널티를 추가한 '균일-정확 정책 최적화(UCPO)' 기법을 제안합니다. UCPO는 다양성을 유지하면서도 높은 정확도를 달성하여 여러 수학 추론 벤치마크에서 성능 향상을 입증했습니다.
5월 4일10
arXivAI 번역논문
ResRL: LLM 추론 능력 강화 및 분산성 보존을 위한 부정 샘플 투영 잔차 강화학습
본 논문은 LLM의 추론 능력 향상과 생성 다양성 보존이라는 상충되는 목표를 해결하기 위해 '부정 샘플 투영 잔차 강화학습(ResRL)'을 제안합니다. ResRL은 부정 토큰의 숨겨진 표현을 저랭크 양성 하위 공간에 투영하고, 이 투영 잔차를 활용하여 부정 기울기를 조절함으로써 추론 능력을 높이면서도 다양성을 유지합니다. 다양한 벤치마크에서 기존 방법(NSR)보다 우수한 성능을 입증했습니다.
5월 4일11
arXivAI 번역논문
FollowTable: 지시사항 준수 표 검색 벤치마크
본 기술 기사는 기존의 주제 유사성 기반 표 검색(Table Retrieval)이 LLM 에이전트 시스템의 발전과 함께 명시적인 지시사항 준수 방식으로 변화하고 있음을 제시합니다. 이에 따라, 내용 범위 및 스키마 제약 조건을 동시에 만족해야 하는 새로운 작업인 '지시사항 준수 표 검색(IFTR)'을 공식화했습니다. 연구진은 IFTR에 대한 첫 대규모 벤치마크인 FollowTable을 소개하고, 지시사항 적응도를 측정하는 Instruction Responsiveness Score라는 새로운 평가 지표를 제안하며, 기존 모델들이 이러한 세밀한 지시사항 처리에서 어려움을 겪고 있음을 보여줍니다.
5월 4일9
arXivAI 번역논문
Agent Capsules: 멀티 에이전트 LLM 파이프라인을 위한 품질 게이트링粒度 제어
Agent Capsules는 멀티 에이전트 LLM 파이프라인의 실행을 관리하는 적응형 실행 런타임을 제시합니다. 이 시스템은 단순히 에이전트를 병합하여 토큰을 절감하는 기존 방식의 품질 저하 문제를 해결하기 위해, 경험적 품질 제약을 최적화 문제로 취급합니다. Agent Capsules는 그룹별 조정 오버헤드를 계량하고 세 가지 복합 실행 전략 중 하나를 선택하며, 모든 모드 전환 시 롤링 평균 출력 품질을 게이트하여 시스템의 안정성과 효율성을 동시에 확보합니다.
5월 4일5
arXivAI 번역논문
혼합 모델 관점에서 LLM 앙상블 재고: Mixture-model-like Ensemble (ME)
본 논문은 LLM 앙상블의 성능 향상 잠재력을 인정하면서도, 전통적인 방식이 수반하는 높은 계산 비용 문제를 해결하기 위해 '혼합 모델과 유사한 앙상블(ME)'을 제안합니다. ME는 전체 앙상블 분포를 명시적으로 계산할 필요 없이, 토큰 생성 단계마다 확률적으로 단일 모델을 선택하여 사용하는 방식으로 작동합니다. 이 접근 방식은 기존 앙상블 방법과 수학적으로 동등하면서도 호출 비용을 크게 줄여 효율성을 높입니다.
5월 4일8
arXivAI 번역논문
RadLite: CPU 배포용 소형 언어 모델의 다중 작업 LoRA 파인튜닝
본 연구는 대규모 언어 모델(LLMs)의 높은 계산 요구 사항 문제를 해결하기 위해, 30억~40억 파라미터 규모의 소형 언어 모델(SLMs)을 활용하여 방사선학 분야의 다중 작업 성능을 개선하는 방법을 제시합니다. LoRA 파인튜닝 기법을 통해 다양한 임상 과제에 걸쳐 SLM들을 성공적으로 훈련시켰으며, 이를 GGUF 형식으로 양자화하여 소비자급 CPU 환경에서도 효율적으로 배포할 수 있음을 입증했습니다.
5월 4일6
arXivAI 번역논문
작업 표현이 대규모 언어 모델의 전제에 미치는 영향
본 연구는 대규모 언어 모델(LLMs)이 실세계 응용에서 안전성과 신뢰성을 확보하는 데 있어 '작업 표현(task representation)'이 전제(assumption)를 유도하는 방식과 그 영향을 탐구합니다. 반복된 죄수의 딜레마 사례 연구를 통해, LLMs가 추론 단계를 거치더라도 특정 작업 표현에 의해 형성된 전제에는 취약함을 확인했습니다. 따라서 LLM의 신뢰성을 높이기 위해서는 적절하고 중립적인 작업 표현을 설계하는 것이 중요함을 시사합니다.
5월 4일10
arXivAI 번역논문
ReLay: 개인화된 LLM 생성 평이어 요약의 이해도 향상, 그러나 어떤 비용으로?
본 논문은 연구 결과를 일반 독자에게 전달하는 '평이어 요약(PLS)'의 한계를 지적하며, LLM 기반의 개인화된 PLS가 이 문제를 해결할 수 있는 대안임을 제시합니다. 저자들은 사용자 특성 및 이해도를 고려한 ReLay 데이터셋을 구축하고 이를 활용하여 5개의 LLM을 평가했습니다. 연구 결과, 개인화는 독자의 이해도와 품질 인식을 높이지만, 동시에 사용자의 편향 강화나 환각(hallucinations) 도입과 같은 안전성 위험을 증가시키는 트레이드오프가 있음을 보여줍니다.
5월 4일6
arXivAI 번역논문
목표 지향 대안에서의 놀라기 최소화 (Surprisal Minimization) 가 대화 생산 선택을 예측한다
본 논문은 정보 이론적 비용 개념을 활용하여 문장 생성을 확률적 비용 민감 선택으로 모델링하고, 대화 생산 선택에 대한 예측 메커니즘을 제시한다. 특히, 고정된 의도(목표 지향)를 가진 대안과 맥락적 가능성에만 기반한 대안(목표 무관)을 구분하여 분석했다. 그 결과, 열린 대화에서 놀라기 최소화(surprisal minimization)가 가장 강력하게 생산 선택을 예측하는 설명임을 입증했으며, 이는 자연어 언어 생산 과정에 대한 새로운 원리적 프레임워크를 제공한다.
5월 4일9
arXivAI 번역논문
ControBench: 소셜 네트워크의 논쟁적 담론 분석을 위한 상호작용 감지 벤치마크
ControBench는 소셜 네트워크에서 발생하는 복잡한 논쟁적 담론을 분석하기 위해 설계된 새로운 벤치마크입니다. 이 데이터셋은 Reddit의 실제 토론 데이터를 기반으로 하며, 풍부한 텍스트 의미론과 상호작용 그래프 구조를 결합하여 기존 데이터셋의 한계를 극복했습니다. ControBench는 사용자-댓글-사용자 간의 지역적 논쟁 맥락을 보존하는 방식으로 설계되었으며, 이를 통해 GNN 및 LLM 같은 모델들이 실제 세계의 복잡한 온라인 토론 환경에서 어떻게 작동하는지 평가할 수 있게 합니다.
5월 4일7
arXivAI 번역논문
AGoQ: 대규모 언어 모델 (LLM) 의 메모리 효율적 분산 훈련을 위한 활성화 및 경사 양자화
AGoQ는 대규모 언어 모델(LLM)의 메모리 효율적인 분산 훈련을 위해 활성화와 경사 양자화 기술을 결합한 새로운 프레임워크입니다. 이 방법은 레이어별로 최적의 비트 폭을 할당하여 활성화를 거의 4-bit 수준으로 저장하고, 통신 시간을 줄이는 8-bit 경사 및 All-Reduce를 사용합니다. 실험 결과, AGoQ는 기존 최고 수준의 분산 훈련 시스템 대비 메모리를 최대 52% 절감하고 훈련 속도를 크게 향상시키면서도 모델 정확도를 유지할 수 있음을 입증했습니다.
5월 4일9