Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
DRIP-R: 소매(Retail) 도메인에서 실제 정책 모호성 하의 의사결정 및 추론을 위한 벤치마크
DRIP-R은 실제 소매(retail) 도메인의 정책적 모호성을 활용하여 LLM 에이전트의 의사결정 및 추론 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 기존 벤치마크들이 명확하게 정의된 정책을 가정하는 것과 달리, DRIP-R은 단 하나의 정답이 존재하지 않는 모호한 시나리오를 제공합니다. 이 벤치마크는 반환(return) 시나리오와 현실적인 고객 페르소나, 도구 호출 기능을 포함하며, 다중 심사위원 평가 프레임워크를 통해 정책 준수, 대화 품질 등 복합적인 측면을 평가합니다.
5월 11일2
arXivAI 번역논문
SimCT: 크로스 토크나이저의 손실된 감독 신호 복구
본 기사는 온-정책 증류(OPD)가 두 모델의 예측이 토큰별로 비교 가능하다고 가정하는 한계를 지적하며, 특히 이질적인 토크나이저 환경에서 발생하는 문제점을 다룹니다. 연구진은 공유 토큰 매칭만으로는 교사 신호의 상당 부분을 놓치게 된다는 점을 발견하고, 이를 해결하기 위해 'SimCT(Simple Cross-Tokenizer OPD)'를 제안했습니다. SimCT는 단순히 공유 토큰 외에도 짧은 다중 토큰 연속체에 걸쳐 교사와 학생 모델 간의 비교를 확장하여 손실된 감독 신호를 효과적으로 복구합니다.
5월 11일6
arXivAI 번역논문
Guidance는 하이퍼파라미터가 아니다: 확산 언어 모델에서 동적 제어를 학습하기
본 논문은 확산 언어 모델(Diffusion Language Models)에서 사용되는 Classifier-Free Guidance (CFG) 스케일이 고정된 하이퍼파라미터라는 기존 접근 방식의 한계를 지적합니다. 저자들은 CFG 스케일 선택을 순차적인 의사 결정 문제로 재구성하고, 강화학습(RL)과 PPO 알고리즘을 사용하여 생성 과정 전체에 걸쳐 동적으로 변화하는 최적의 가이던스 궤적을 학습할 것을 제안했습니다. 실험 결과는 이러한 적응형(adaptive) 가이던스가 고정 스케일 전략보다 NLP 생성 작업에서 제어 가능성과 품질 사이의 우수한 균형을 제공함을 입증합니다.
5월 11일10
arXivAI 번역논문
오류 제어 역학을 통한 순환 모델의 상태 추적 재고찰
본 논문은 순환 모델에서의 상태 추적 능력이 단순히 이론적인 표현 능력(expressive capacity)에 의해서만 결정되는 것이 아님을 주장한다. 대신, '오류 제어' 역학이 핵심이며, 특히 아핀 순환 네트워크와 같은 모델 클래스는 숨겨진 상태 드리프트를 효과적으로 지배하여 강력한 상태 추적을 수행하지 못하고 유한 범위의 해법에 머무르는 경향이 있다. 연구는 상태 추적이 유지되려면 클래스 내 분산이 초기 클래스 간 분리보다 작아야 하며, 이 붕괴 지점은 다운스트림 정확도가 실패하는 예측 가능한 임계값임을 보여준다.
5월 11일6
arXivAI 번역논문
TextLDM: 연속 잠재 확산(Continuous Latent Diffusion)을 이용한 언어 모델링
TextLDM은 연속 잠재 확산(Continuous Latent Diffusion) 기술을 언어 모델링에 적용한 프레임워크입니다. 기존의 시각적 생성(이미지/비디오)에 사용되던 확산 트랜스포머(DiT) 아키텍처를 최소한의 수정만으로 텍스트 생성 영역으로 확장했습니다. 이 방법은 VAE 잠재 공간에서 연속적인 텍스트 표현을 얻기 위해 Representation Alignment (REPA) 기법을 활용하며, OpenWebText2로 사전 학습된 TextLDM은 기존 확산 언어 모델보다 우수한 성능을 보여주었습니다.
5월 11일5
arXivAI 번역논문
CktFormalizer: 자연어로부터 회로 표현의 자동 형식화
CktFormalizer는 LLM 기반 하드웨어 생성의 신뢰성 문제를 해결하기 위해 개발된 프레임워크입니다. 이 프레임워크는 Lean 4에 임베딩된 종속 타입 언어(dependently-typed HDL)를 사용하여, 자연어 사양으로부터 생성되는 Verilog 코드가 컴파일 타임에 하드웨어 결함(예: 너비 불일치, 루프 등)을 가지지 않도록 강제합니다. 이를 통해 기존 방식에서 발생하던 합성 단계의 실패율을 획기적으로 줄이고 디자인의 정확성을 높입니다.
5월 11일7
arXivAI 번역논문
가변 크기 소형 언어 모델의 효과적인 초기화를 위한 체인 기반 증류(Chain-based Distillation)
대규모 언어 모델(LLMs)의 높은 비용과 소형 언어 모델(SLMs) 학습의 어려움을 해결하기 위해 '체인 기반 증류(CBD)'라는 확장 가능한 패러다임을 제안한다. CBD는 단계적 증류 과정을 통해 희소하고 제한적인 중간 모델 시퀀스(앵커)를 구성하며, 이를 점진적으로 전달하는 증류 체인을 형성하여 가변 크기 언어 모델의 효율적인 초기화를 가능하게 한다.
5월 11일8
arXivAI 번역논문
언어 모델의 '추론' 과정에서 불확실성 추적
본 논문은 언어 모델(LM)의 추론 과정 자체를 중간 토큰 시퀀스인 '추적(traces)'으로 간주하고, 이를 불확실성 정량화 관점에서 분석했습니다. 연구진은 각 추적을 특징들로 요약한 '불확실성 추적 프로파일'을 개발하여, 이 프로파일만으로 LM이 올바른 최종 답변을 도출할지 여부를 높은 정확도로 예측할 수 있음을 입증했습니다. 특히 생성 초기의 적은 토큰만을 사용해도 오류를 감지할 수 있으며, 성공적인 추적과 실패한 추적 사이에는 질적으로 구별되는 불확실성 패턴이 존재함을 발견했습니다.
5월 11일8
arXivAI 번역논문
PolySQL: 자동 백엔드 동형성(Automated Backend Isomorphism)을 통한 SQL 방언 간 Text-to-SQL 평가
PolySQL은 데이터베이스 엔진별 SQL 방언 차이로 인해 발생하는 Text-to-SQL 벤치마크의 심각한 평가 격차 문제를 해결하기 위해 개발된 새로운 이중 실행(dual-execution) 프레임워크입니다. 기존 방식들이 값비싼 수동 쿼리 변환에 의존하거나 실패하는 경우가 많았던 것과 달리, PolySQL은 정규화된 실행 결과를 비교하여 쿼리 변환 과정 없이도 높은 평가 충실도를 달성합니다. 이 프레임워크는 최초로 대규모 방언 간 연구를 가능하게 했으며, SQL 방언 이동 시 성능 저하가 주로 구문적 오류가 아닌 논리적 오류에서 비롯됨을 밝혀냈습니다.
5월 11일7
arXivAI 번역논문
‘요청을 수행할 수 없습니다’를 넘어서: 레이블 강화를 통한 LLM의 경직된 거부 완화
본 논문은 LLM이 안전 정렬 과정에서 발생하는 '경직된 거부' 문제를 해결하기 위해 LANCE(Label-enhanced Natural Conversation Engine)를 제안합니다. LANCE는 변분 추론을 사용하여 여러 거부 카테원에 걸쳐 연속적인 분포를 예측하고, 이를 통해 다중 방향 텍스트 기울기를 생성합니다. 이 메커니즘은 LLM이 안전성을 유지하면서도 자연스럽고 유연한 응답을 생성하도록 도와, 기존의 경직된 거부 문제를 크게 완화시킵니다.
5월 11일7
arXivAI 번역논문
KL for a KL: Control Variate Baseline을 이용한 On-Policy Distillation
본 논문은 대규모 언어 모델(LLM)의 추론 영역 훈련에 사용되는 On-Policy Distillation (OPD)의 불안정성 문제를 해결하기 위해 vOPD(Control Variate Baseline을 이용한 On-Policy Distillation)를 제안합니다. 이는 OPD를 정책 경사(policy-gradient RL)로 간주하고, 전통적인 강화 학습(RL) 기법인 Control Variate Baseline을 도입하여 훈련의 안정성을 높입니다. 특히, OPD의 값 함수가 학생 및 교사 모델 간의 토큰당 음의 역 KL 발산이라는 형태로 표현되어 추가 계산 없이도 쉽게 얻을 수 있다는 점을 강조합니다.
5월 11일9
arXivAI 번역논문
CoCoReviewBench: AI 리뷰어의 완전성 및 정확성에 초점을 맞춘 벤치마크
본 기사는 AI 리뷰어의 평가에 있어 기존 지표들이 가진 한계점(인간 리뷰 의존성, 정확성 간과)을 극복하기 위해 CoCoReviewBench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 완전성(Completeness) 강화를 위해 누락된 부분을 평가하고, 전문가 주석 및 필터링을 통해 정확성(Correctness)을 높였습니다. 분석 결과, AI 리뷰어의 환각 문제와 정확성 한계가 확인되었으며, 추론 모델이 더 효과적인 리뷰어임을 제시하며 향후 연구 방향성을 제시합니다.
5월 11일6
arXivAI 번역논문
잠재 공간과 함께 잠재 확산 언어 모델을 훈련하는 방법
본 논문은 연속적인 텍스트 표현 처리에 적합하고 비-자기회귀적 텍스트 생성을 가능하게 하는 잠재 확산 언어 모델(LDLM)을 제안합니다. LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 가지며, 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간을 구축합니다.
5월 11일6
arXivAI 번역논문
Fast Byte Latent Transformer
본 논문은 기존 바이트 레벨 언어 모델(LM)이 느린 자동회귀 생성 속도 때문에 활용도가 제한적이라는 문제를 해결하기 위한 Byte Latent Transformer (BLT)의 개선 방안을 제시합니다. 연구진은 보조 블록 단위 확산 목적 함수를 추가하여 병렬 디코딩이 가능한 BLT Diffusion (BLT-D) 모델을 제안했습니다. 또한, 사변적 디코딩(speculative decoding)에서 영감을 받은 두 가지 확장 방식인 BLT Self-speculation (BLT-S)과 BLT Diffusion+Verification (BLT-DV)를 통해 속도와 품질을 최적화하여, 기존 BLT 대비 메모리 대역폭 비용을 50% 이상 절감할 수 있음을 입증했습니다.
5월 11일8
arXivAI 번역논문
Distilled LLM을 활용한 불확실성 인식 구조화 데이터 추출 (Uncertainty-Aware Structured Data
본 논문은 자유 텍스트 형태의 심장 자기공명영상(CMR) 보고서를 구조화된 데이터로 변환하고, 각 필드에 신뢰도를 할당하는 경량 프레임워크인 CMR-EXTR을 제안합니다. 이 시스템은 교사-학생 증류 기법을 사용하여 수동 주석 작업의 부담을 줄이면서도 완전한 오프라인 추론을 가능하게 합니다. 특히, 분포 개연성, 샘플링 안정성, 교차 필드 일관성이라는 세 가지 원칙을 통합하여 불확실성을 인식함으로써, 인간 검토가 필요한 부분을 효과적으로 식별하고 높은 정확도를 달성했습니다.
5월 11일7
arXivAI 번역논문
CA-SQL: 탐색 및 컴퓨팅 예산 할당을 통한 텍스트-투-SQL의 복잡도 인식 추론 시간 추론
CA-SQL은 텍스트 기반 질문으로부터 SQL 쿼리를 생성하는 Text-to-SQL 작업의 성능 한계를 극복하기 위해 개발된 새로운 파이프라인입니다. 이 방법론은 작업의 추정 난이도를 활용하여 솔루션 후보를 탐색하는 폭을 동적으로 조정함으로써, 기존 모델들이 어려움을 겪는 복잡한 시나리오에서 더 정확하고 효율적인 SQL 쿼리를 생성할 수 있도록 합니다.
5월 11일5
arXivAI 번역논문
LLMs가 LLM을 개선하다: 테스트 시간 스케일링(Test-Time Scaling)을 위한 에이전트적 탐색
본 논문은 대규모 언어 모델(LLM)의 성능을 향상시키는 테스트 시간 스케일링(Test-time scaling, TTS) 기법에 대한 새로운 접근 방식인 AutoTTS를 제안합니다. 기존 TTS 전략들이 수작업으로 설계되어 탐색 공간이 제한적이었던 문제를 해결하기 위해, AutoTTS는 LLM이 최적의 자원 할당을 자동으로 발견할 수 있는 환경 기반 프레임워크를 제공합니다.
5월 11일8
arXivAI 번역논문
Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit
본 논문은 기존 강화 학습(RL) 기반 LLM 미세 조정 방법론인 GRPO의 한계를 지적하며, 오직 긍정적인 롤아웃 데이터만을 사용하여 정책을 최적화하는 Positive-Only Policy Optimization (POPO) 기법을 제안합니다. POPO는 제한된 중요 샘플링과 모멘텀 기반 적응 법칙 및 유사성 패널티 항을 결합하여 학습 안정성을 높입니다. 실험 결과, Qwen-Math-7B 모델을 사용하여 수학적 벤치마크(AIME 2025)에서 GRPO보다 우수한 성능을 달성하며 POPO의 효과를 입증했습니다.
5월 8일11
arXivAI 번역논문
EMO: Pretraining Mixture of Experts for Emergent Modularity
EMO(Expert Modularity Optimization)는 기존 MoE(Mixture-of-Experts) 모델이 가진 도메인 특화 및 메모리 효율성 문제를 해결하기 위해 제안된 모듈러 아키텍처입니다. EMO의 핵심은 유사한 도메인의 토큰들이 유사한 전문가 그룹에 의존하도록 유도하여, 문서 경계만으로도 자연스럽게 전문화되고 조립 가능한 전문가 풀을 형성하는 것입니다. 이를 통해 전체 모델 크기 대비 적은 활성 전문가만을 사용하여 높은 성능과 뛰어난 메모리 효율성을 달성할 수 있습니다.
5월 8일12
arXivAI 번역논문
E = T*H/(O+B): Mixture-of-Experts 생태계 건강을 예측하는 무차원 제어 매개변수
본 논문은 Mixture-of-Experts (MoE) 모델이 건강한 전문가 생태계를 유지할지 예측하는 무차원 제어 매개변수 $E = T imes H / (O + B)$를 제시합니다. 이 매개변수는 라우팅 온도($T$), 엔트로피 가중치($H$), 오라클 가중치($O$), 밸런스 가중치($B$) 네 가지 하이퍼파라미터를 통합하여 MoE 생태계의 건강 상태를 단일 지표로 나타냅니다. 실험 결과, $E ext{가 } 0.5$ 이상만으로도 '죽은 전문가' 문제를 해결하고 별도의 손실 함수 없이 안정적인 학습을 보장함을 입증했습니다.
5월 8일8