Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
모든 토큰이 동일하게 학습하지 않는다: 어텐션 엔트로피가 RL 추론의 이질적인 신호를 밝히다
본 연구는 대규모 언어 모델(LLM)의 강화학습(RL) 기반 사후 훈련에서 토큰 수준의 학습 신호가 균일하지 않다는 점에 주목하며, 어텐션 엔트로피를 활용하여 이러한 이질성을 분석합니다. 어텐션 엔트로피는 각 응답 토큰이 문맥적 지원을 얼마나 집중적으로 받는지 측정하는 지표로, 이를 통해 RL 최적화 과정에서 구조적인 패턴을 발견할 수 있습니다. 연구 결과는 단순히 평균적인 학습 신호만으로는 추론 과정의 중요한 이질성을 놓칠 수 있음을 시사합니다.
5월 11일10
arXivAI 번역논문
접지된 대화형 뉴스 추천을 위한 의도 기반 시맨틱 ID 생성
본 기사는 빠르게 변화하는 아티클 코퍼스에서 사용자 의도에 기반한 뉴스 추천 시스템의 어려움을 다루고 있습니다. 특히 명시적 키워드가 부족한 암묵적인 사용자 의도를 처리하기 위해, 6가지 유형의 대화형 의도를 식별하고 그중 다섯 가지가 기존 RAG 파이프라인의 병목 현상을 야기함을 지적합니다. 이를 해결하기 위해 'Generate-then-Match' 패러다임 하에서 다중 작업 학습과 GPT-4 CoT 증류를 활용하여 의도 기반 시맨틱 ID(SID) 생성 방법을 제안합니다.
5월 11일4
arXivAI 번역논문
그녀는 정말 관련성이 있을까? BERT가 명시적인 성별 단서를 무시할 때
본 논문은 네덜란드어와 같이 형태론적 성별을 가진 언어를 대상으로 BERT 모델의 성별 편향성을 분석합니다. 연구진은 훈련 과정 전반에 걸쳐 문맥 임베딩을 추적하여, 명시적인 성별 단서가 모델 표현에 어떻게 인코딩되고 진화하는지 조사했습니다. 그 결과, Dutch BERT 모델이 반(反)고정관념적인 문맥에서 명시적인 성별 정보를 충분히 반영하지 못하고 지속적으로 남성 기본값 행동을 보이는 경향이 있음을 발견했습니다.
5월 11일7
arXivAI 번역논문
사후 훈련은 대규모 언어 모델을 인간과 유사하지 않게 만든다
본 논문은 대규모 언어 모델(LLMs)이 인간의 행동을 얼마나 잘 모방하는지 측정할 수 있는 새로운 데이터셋 Psych-201을 소개한다. 연구 결과, LLM을 유용한 비서로 만들기 위해 수행되는 사후 훈련 과정 자체가 모델의 인간 행동 정렬도를 지속적으로 떨어뜨리는 것으로 나타났다. 또한, 개인별 정보로 모델을 조건화하는 페르소나 유도 기법 역시 개인 수준의 예측 정확도를 개선하지 못한다는 사실이 밝혀졌다.
5월 11일7
arXivAI 번역논문
Prefix Consistency를 통한 신뢰할 수 있는 Chain-of-Thought
본 기술 기사는 LLM의 추론 정확도를 높이는 방법 중 하나인 'self-consistency'를 개선한 'Prefix Consistency' 방법을 제안합니다. 이 방법은 여러 개의 Chain-of-Thought(CoT) 추적을 샘플링하고, 각 후보 답변이 재생성 과정을 통해 얼마나 일관되게 나타나는지(prefix consistency)를 신뢰도 지표로 활용하여 가중치를 부여합니다. 실험 결과, Prefix Consistency는 기존의 다수 투표(Majority Voting) 방식보다 높은 정확도를 보였으며, 훨씬 적은 토큰으로 유사한 성능을 달성할 수 있음을 입증했습니다.
5월 11일8
arXivAI 번역논문
SimCT: 크로스 토크나이저의 손실된 감독 신호 복구
본 기사는 온-정책 증류(OPD)가 두 모델의 예측이 토큰별로 비교 가능하다고 가정하는 한계를 지적하며, 특히 이질적인 토크나이저 환경에서 발생하는 문제점을 다룹니다. 연구진은 공유 토큰 매칭만으로는 교사 신호의 상당 부분을 놓치게 된다는 점을 발견하고, 이를 해결하기 위해 'SimCT(Simple Cross-Tokenizer OPD)'를 제안했습니다. SimCT는 단순히 공유 토큰 외에도 짧은 다중 토큰 연속체에 걸쳐 교사와 학생 모델 간의 비교를 확장하여 손실된 감독 신호를 효과적으로 복구합니다.
5월 11일6
arXivAI 번역논문
Guidance는 하이퍼파라미터가 아니다: 확산 언어 모델에서 동적 제어를 학습하기
본 논문은 확산 언어 모델(Diffusion Language Models)에서 사용되는 Classifier-Free Guidance (CFG) 스케일이 고정된 하이퍼파라미터라는 기존 접근 방식의 한계를 지적합니다. 저자들은 CFG 스케일 선택을 순차적인 의사 결정 문제로 재구성하고, 강화학습(RL)과 PPO 알고리즘을 사용하여 생성 과정 전체에 걸쳐 동적으로 변화하는 최적의 가이던스 궤적을 학습할 것을 제안했습니다. 실험 결과는 이러한 적응형(adaptive) 가이던스가 고정 스케일 전략보다 NLP 생성 작업에서 제어 가능성과 품질 사이의 우수한 균형을 제공함을 입증합니다.
5월 11일10
arXivAI 번역논문
오류 제어 역학을 통한 순환 모델의 상태 추적 재고찰
본 논문은 순환 모델에서의 상태 추적 능력이 단순히 이론적인 표현 능력(expressive capacity)에 의해서만 결정되는 것이 아님을 주장한다. 대신, '오류 제어' 역학이 핵심이며, 특히 아핀 순환 네트워크와 같은 모델 클래스는 숨겨진 상태 드리프트를 효과적으로 지배하여 강력한 상태 추적을 수행하지 못하고 유한 범위의 해법에 머무르는 경향이 있다. 연구는 상태 추적이 유지되려면 클래스 내 분산이 초기 클래스 간 분리보다 작아야 하며, 이 붕괴 지점은 다운스트림 정확도가 실패하는 예측 가능한 임계값임을 보여준다.
5월 11일6
arXivAI 번역논문
TextLDM: 연속 잠재 확산(Continuous Latent Diffusion)을 이용한 언어 모델링
TextLDM은 연속 잠재 확산(Continuous Latent Diffusion) 기술을 언어 모델링에 적용한 프레임워크입니다. 기존의 시각적 생성(이미지/비디오)에 사용되던 확산 트랜스포머(DiT) 아키텍처를 최소한의 수정만으로 텍스트 생성 영역으로 확장했습니다. 이 방법은 VAE 잠재 공간에서 연속적인 텍스트 표현을 얻기 위해 Representation Alignment (REPA) 기법을 활용하며, OpenWebText2로 사전 학습된 TextLDM은 기존 확산 언어 모델보다 우수한 성능을 보여주었습니다.
5월 11일5
arXivAI 번역논문
언어 모델의 '추론' 과정에서 불확실성 추적
본 논문은 언어 모델(LM)의 추론 과정 자체를 중간 토큰 시퀀스인 '추적(traces)'으로 간주하고, 이를 불확실성 정량화 관점에서 분석했습니다. 연구진은 각 추적을 특징들로 요약한 '불확실성 추적 프로파일'을 개발하여, 이 프로파일만으로 LM이 올바른 최종 답변을 도출할지 여부를 높은 정확도로 예측할 수 있음을 입증했습니다. 특히 생성 초기의 적은 토큰만을 사용해도 오류를 감지할 수 있으며, 성공적인 추적과 실패한 추적 사이에는 질적으로 구별되는 불확실성 패턴이 존재함을 발견했습니다.
5월 11일8
arXivAI 번역논문
PolySQL: 자동 백엔드 동형성(Automated Backend Isomorphism)을 통한 SQL 방언 간 Text-to-SQL 평가
PolySQL은 데이터베이스 엔진별 SQL 방언 차이로 인해 발생하는 Text-to-SQL 벤치마크의 심각한 평가 격차 문제를 해결하기 위해 개발된 새로운 이중 실행(dual-execution) 프레임워크입니다. 기존 방식들이 값비싼 수동 쿼리 변환에 의존하거나 실패하는 경우가 많았던 것과 달리, PolySQL은 정규화된 실행 결과를 비교하여 쿼리 변환 과정 없이도 높은 평가 충실도를 달성합니다. 이 프레임워크는 최초로 대규모 방언 간 연구를 가능하게 했으며, SQL 방언 이동 시 성능 저하가 주로 구문적 오류가 아닌 논리적 오류에서 비롯됨을 밝혀냈습니다.
5월 11일7
arXivAI 번역논문
CoCoReviewBench: AI 리뷰어의 완전성 및 정확성에 초점을 맞춘 벤치마크
본 기사는 AI 리뷰어의 평가에 있어 기존 지표들이 가진 한계점(인간 리뷰 의존성, 정확성 간과)을 극복하기 위해 CoCoReviewBench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 완전성(Completeness) 강화를 위해 누락된 부분을 평가하고, 전문가 주석 및 필터링을 통해 정확성(Correctness)을 높였습니다. 분석 결과, AI 리뷰어의 환각 문제와 정확성 한계가 확인되었으며, 추론 모델이 더 효과적인 리뷰어임을 제시하며 향후 연구 방향성을 제시합니다.
5월 11일6
arXivAI 번역논문
잠재 공간과 함께 잠재 확산 언어 모델을 훈련하는 방법
본 논문은 연속적인 텍스트 표현 처리에 적합하고 비-자기회귀적 텍스트 생성을 가능하게 하는 잠재 확산 언어 모델(LDLM)을 제안합니다. LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 가지며, 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간을 구축합니다.
5월 11일6
arXivAI 번역논문
CA-SQL: 탐색 및 컴퓨팅 예산 할당을 통한 텍스트-투-SQL의 복잡도 인식 추론 시간 추론
CA-SQL은 텍스트 기반 질문으로부터 SQL 쿼리를 생성하는 Text-to-SQL 작업의 성능 한계를 극복하기 위해 개발된 새로운 파이프라인입니다. 이 방법론은 작업의 추정 난이도를 활용하여 솔루션 후보를 탐색하는 폭을 동적으로 조정함으로써, 기존 모델들이 어려움을 겪는 복잡한 시나리오에서 더 정확하고 효율적인 SQL 쿼리를 생성할 수 있도록 합니다.
5월 11일5
arXivAI 번역논문
LLMs가 LLM을 개선하다: 테스트 시간 스케일링(Test-Time Scaling)을 위한 에이전트적 탐색
본 논문은 대규모 언어 모델(LLM)의 성능을 향상시키는 테스트 시간 스케일링(Test-time scaling, TTS) 기법에 대한 새로운 접근 방식인 AutoTTS를 제안합니다. 기존 TTS 전략들이 수작업으로 설계되어 탐색 공간이 제한적이었던 문제를 해결하기 위해, AutoTTS는 LLM이 최적의 자원 할당을 자동으로 발견할 수 있는 환경 기반 프레임워크를 제공합니다.
5월 11일8
arXivAI 번역논문
Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit
본 논문은 기존 강화 학습(RL) 기반 LLM 미세 조정 방법론인 GRPO의 한계를 지적하며, 오직 긍정적인 롤아웃 데이터만을 사용하여 정책을 최적화하는 Positive-Only Policy Optimization (POPO) 기법을 제안합니다. POPO는 제한된 중요 샘플링과 모멘텀 기반 적응 법칙 및 유사성 패널티 항을 결합하여 학습 안정성을 높입니다. 실험 결과, Qwen-Math-7B 모델을 사용하여 수학적 벤치마크(AIME 2025)에서 GRPO보다 우수한 성능을 달성하며 POPO의 효과를 입증했습니다.
5월 8일11
arXivAI 번역논문
Who and What? Using Linguistic Features and Annotator Characteristics to
본 논문은 NLP 분야에서 핵심적인 문제인 '인간 라벨 변이'를 다루며, 주석 작성자(annotator)의 특성과 데이터 항목 자체의 언어적 속성 간의 상호작용을 분석합니다. 연구진은 해로운 언어 감지 관련 4개 대규모 참조 데이터셋을 통합적으로 분석하여, 단순히 누가 라벨링했는지뿐만 아니라 무엇이 그 변이에 영향을 미치는지에 초점을 맞췄습니다. 분석 결과, 주석 작성자 특성과 항목의 언어적 속성 간의 상호작용 효과가 중요하며, 특히 단어 단서와 주석 작성자의 태도가 중요한 역할을 한다는 것을 발견했습니다.
5월 8일9
arXivAI 번역논문
감정 대화 컨텍스트에서의 대규모 언어 모델의 감정 일관성 분석
본 연구는 감정 기반 대화 상황에서 대규모 언어 모델(LLMs)이 생성하는 응답의 감정 일관성을 분석했습니다. LLM은 잘못된 가정(false presuppositions)을 포함하는 쿼리에 대해 평균 이하의 성능을 보였으며, 특히 중간 정도의 감정 콘텐츠에서 취약성이 두드러졌습니다. 이 결과는 LLMs가 고위험이거나 감정적으로 민감한 컨텍스트에 배포되기 전에 중요한 고려사항이 필요함을 시사합니다.
5월 8일8
arXivAI 번역논문
Contrastive Identification and Generation in the Limit
본 논문은 전통적인 '한계 모델(limit model)' 기반의 식별(identification)과 생성(generation) 개념을 확장하여, 학습자가 데이터의 대조적 제시(contrastive presentation)를 관찰하는 상황에서의 식별 및 생성을 연구합니다. 기존 연구들이 양성 예시만 사용하거나 완전 라벨링된 데이터를 가정했던 것과 달리, 본 논문은 목표 이진 가설 $h$에 대해 $h(x) e h(y)$를 만족하는 무서제 쌍 $\{x,y\}$의 흐름을 관찰하지만, 어떤 요소가 양성인지 여부는 숨겨져 있는 상황을 다룹니다. 연구 결과로 대조적 식별 가능 클래스의 정확한 특성화, '대조적 폐쇄 차원' 같은 조합론적 개념 제시, 그리고 엄밀한 샘플 복잡도를 갖는 균일 대조적 생성의 특성화를 제공하며, 나아가 교란 환경에서의 알고리즘적 한계까지 분석합니다.
5월 8일12
arXivAI 번역논문
Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability
본 논문은 대형 언어 모델(LLM) 추론 개선에 사용되는 강화학습(RL)의 역할을 재고합니다. 연구 결과, RL이 새로운 능력을 가르치기보다는 기본 모델이 이미 가진 해법에 대한 확률 질량을 특정 지점에서 '희소하게' 보정하는 역할임을 밝혀냈습니다. 이로 인해 LLM 추론 개선은 능력 획득(Capability Acquisition)의 문제가 아니라, 불확실성이 높은 결정 지점에서의 정책 선택 최적화 문제임이 강조됩니다.
5월 8일12