Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit
본 논문은 기존 강화 학습(RL) 기반 LLM 미세 조정 방법론인 GRPO의 한계를 지적하며, 오직 긍정적인 롤아웃 데이터만을 사용하여 정책을 최적화하는 Positive-Only Policy Optimization (POPO) 기법을 제안합니다. POPO는 제한된 중요 샘플링과 모멘텀 기반 적응 법칙 및 유사성 패널티 항을 결합하여 학습 안정성을 높입니다. 실험 결과, Qwen-Math-7B 모델을 사용하여 수학적 벤치마크(AIME 2025)에서 GRPO보다 우수한 성능을 달성하며 POPO의 효과를 입증했습니다.
5월 8일10
arXivAI 번역논문
Who and What? Using Linguistic Features and Annotator Characteristics to
본 논문은 NLP 분야에서 핵심적인 문제인 '인간 라벨 변이'를 다루며, 주석 작성자(annotator)의 특성과 데이터 항목 자체의 언어적 속성 간의 상호작용을 분석합니다. 연구진은 해로운 언어 감지 관련 4개 대규모 참조 데이터셋을 통합적으로 분석하여, 단순히 누가 라벨링했는지뿐만 아니라 무엇이 그 변이에 영향을 미치는지에 초점을 맞췄습니다. 분석 결과, 주석 작성자 특성과 항목의 언어적 속성 간의 상호작용 효과가 중요하며, 특히 단어 단서와 주석 작성자의 태도가 중요한 역할을 한다는 것을 발견했습니다.
5월 8일9
arXivAI 번역논문
감정 대화 컨텍스트에서의 대규모 언어 모델의 감정 일관성 분석
본 연구는 감정 기반 대화 상황에서 대규모 언어 모델(LLMs)이 생성하는 응답의 감정 일관성을 분석했습니다. LLM은 잘못된 가정(false presuppositions)을 포함하는 쿼리에 대해 평균 이하의 성능을 보였으며, 특히 중간 정도의 감정 콘텐츠에서 취약성이 두드러졌습니다. 이 결과는 LLMs가 고위험이거나 감정적으로 민감한 컨텍스트에 배포되기 전에 중요한 고려사항이 필요함을 시사합니다.
5월 8일8
arXivAI 번역논문
Contrastive Identification and Generation in the Limit
본 논문은 전통적인 '한계 모델(limit model)' 기반의 식별(identification)과 생성(generation) 개념을 확장하여, 학습자가 데이터의 대조적 제시(contrastive presentation)를 관찰하는 상황에서의 식별 및 생성을 연구합니다. 기존 연구들이 양성 예시만 사용하거나 완전 라벨링된 데이터를 가정했던 것과 달리, 본 논문은 목표 이진 가설 $h$에 대해 $h(x) e h(y)$를 만족하는 무서제 쌍 $\{x,y\}$의 흐름을 관찰하지만, 어떤 요소가 양성인지 여부는 숨겨져 있는 상황을 다룹니다. 연구 결과로 대조적 식별 가능 클래스의 정확한 특성화, '대조적 폐쇄 차원' 같은 조합론적 개념 제시, 그리고 엄밀한 샘플 복잡도를 갖는 균일 대조적 생성의 특성화를 제공하며, 나아가 교란 환경에서의 알고리즘적 한계까지 분석합니다.
5월 8일11
arXivAI 번역논문
Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability
본 논문은 대형 언어 모델(LLM) 추론 개선에 사용되는 강화학습(RL)의 역할을 재고합니다. 연구 결과, RL이 새로운 능력을 가르치기보다는 기본 모델이 이미 가진 해법에 대한 확률 질량을 특정 지점에서 '희소하게' 보정하는 역할임을 밝혀냈습니다. 이로 인해 LLM 추론 개선은 능력 획득(Capability Acquisition)의 문제가 아니라, 불확실성이 높은 결정 지점에서의 정책 선택 최적화 문제임이 강조됩니다.
5월 8일11
arXivAI 번역논문
Log-Likelihood, Simpson's Paradox, and the Detection of Machine-Generated Text
본 논문은 인간과 AI가 생성한 텍스트를 구별하는 기존의 확률 기반 감지 모델들이 직면하는 근본적인 문제점들을 진단하고, 이를 해결하기 위한 새로운 접근 방식을 제안합니다. 특히, 토큰 수준에서 얻은 로컬 신호 점수를 단순히 평균화할 경우 시몬스 역설(Simpson's paradox)과 같은 통계적 오류가 발생하여 감지 성능이 저하되는 문제를 지적했습니다. 이에 대한 해결책으로, 베이지안 결정 이론을 기반으로 학습된 '로컬 칼리브레이션' 단계를 도입하여 원시 점수를 집계하기 전에 조건부 확률 분포를 예측하고 보정함으로써, 모든 기본 검출기 및 데이터셋에서 감지 성능을 일관되게 향상시키는 방법을 제시했습니다.
5월 8일11
arXivAI 번역논문
Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades
본 논문은 LLM(대형 언어 모델)을 활용한 모델 캐스케이드(Model cascades)의 비용-품질 트레이드오프를 결정론적으로 분석하는 새로운 프레임워크를 제시합니다. 기존 연구가 경험적 하이퍼파라미터에 의존했던 것과 달리, 본 연구는 제약 최적화와 쌍대성(duality)을 기반으로 캐스케이드의 비용-품질 프론티어의 기하학적 특성을 수학적으로 규명합니다. 이를 통해 예산 및 품질 제약을 연결하는 역그림자 가격(reverse shadow prices)을 제공하며, 모델 풀 전체에 걸쳐 최적화된 서열 캐스케이드를 위한 이론적 기반과 실용적인 통찰력을 제공합니다.
5월 8일11
arXivAI 번역논문
Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
본 논문은 LLM의 행동 제어 기법인 Activation Steering이 종종 추론 및 검색 성능 저하를 초래하는 문제를 다룹니다. 연구진은 이 문제의 원인을 주의 재분배(attention rerouting)로 진단하고, 이를 해결하기 위해 Key-Orthogonal Projections (SKOP)이라는 새로운 방법을 제안합니다. SKOP는 중요한 'focus tokens'의 어텐션 패턴을 보존하면서 덜 중요한 'tail tokens' 간의 재분배만 허용하여, 성능 저하를 크게 줄이면서도 효과적인 행동 제어를 가능하게 합니다.
5월 8일8
arXivAI 번역논문
GATHER: Convergence-Centric Hyper-Entity Retrieval for Zero-Shot Cell-Type
GATHER(Graph-Aware Traversal with Hyper-Entity Retrieval)는 단일 세포 유형 주석을 위한 제로샷 학습 환경에서 발생하는 하이퍼 엔티티 쿼리 문제를 해결하기 위해 설계된 수렴 중심 검색기입니다. 기존의 지식 그래프 기반 RAG 접근법은 개별 유전자(로컬 엔티티)에 의존하여 증거를 검색하지만, 실제 세포 유형 결정은 여러 유전자의 집단적 공존(하이퍼 엔티티)에서 발생합니다. GATHER는 전역 다중 소스 그래프 탐색을 통해 여러 입력 유전자에서 동시에 도달 가능한 '수렴 노드'를 식별하며, 이를 고정보량의 하이퍼 엔티티 증거로 활용하여 기존 KG-RAG 베이스라인 대비 높은 정확도와 효율성을 입증했습니다.
5월 8일11
arXivAI 번역논문
WavCube: Unifying Speech Representation for Understanding and Generation via
WavCube는 음성 이해(Understanding)와 생성(Generation)에 필요한 서로 다른 표현 간의 호환성 문제를 해결하기 위해 설계된 통합 음성 모델입니다. 이 모델은 자기 감시 학습(SSL)에서 파생된 컴팩트 연속 잠재 변수를 사용하여, 의미 정보와 세밀한 음향 디테일을 모두 포착합니다. WavCube는 두 단계 훈련 스키마를 통해 원시 SSL 특징의 결함을 보완하고, 높은 압축률에서도 기존 표현과 동등하거나 우수한 재구성 품질 및 TTS 성능을 달성하여 통합된 음성 시스템 구현에 기여합니다.
5월 8일11
arXivAI 번역논문
MiA-Signature: Approximating Global Activation for Long-Context Understanding
MiA-Signature는 인지과학의 '글로벌 이그니션' 개념에서 영감을 받아, 전체 활성화 상태를 압축적으로 표현하는 새로운 메커니즘입니다. 이는 쿼리에 의해 유도된 전역 활성화 패턴을 간결하게 요약한 것이며, LLM 시스템 내에서 하위모듈 기반의 고수준 개념 선택과 경량 반복 업데이트를 통해 구현됩니다. MiA-Signature는 계산적으로 처리 가능한 조건부 신호로 작용하여 RAG 및 에이전트 시스템의 장문맥 이해 성능을 향상시키는 데 활용될 수 있습니다.
5월 8일12
arXivAI 번역논문
From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for
본 논문은 규칙 기반 필터링과 LLM 분류를 결합한 확장 가능한 자동 신조어 탐지 파이프라인을 제시합니다. 이 파이프라인은 문법적 및 비문법적 형태론에 기반하여 신조어의 범위를 정의하고, 2005년부터 2024년까지의 대규모 Reddit 코퍼스(5억 개 이상)를 활용했습니다. 그 결과, 1억 2천만 개의 토큰에서 1,021개의 유망한 신조어 후보군을 추출했으며, 이 중 상당수가 실제 언어적 혁신임이 확인되었습니다.
5월 8일9
arXivAI 번역논문
Invariant Features in Language Models: Geometric Characterization and Model
본 논문은 언어 모델(LLM) 내부에서 의미 정보가 어떻게 안정적으로 인코딩되는지 탐구하며, 이러한 '불변성'의 구조와 기원을 밝히는 것을 목표로 합니다. 연구진은 잠재 공간에 로컬 기하학적 프레임워크를 제안하여, 의미적으로 동등한 입력들이 특정 불변 부분공간을 형성한다고 가정합니다. 이를 통해 모델이 의미 변화(paraphrastic change) 중에도 핵심적인 의미 동일성을 보존하는 메커니즘을 기하학적으로 특성화하고, 이 불변 표현을 0-shot 모델 귀속에 적용하여 그 효과를 입증했습니다.
5월 8일10
arXivAI 번역논문
STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?
LLM 에이전트는 장기적인 개인화된 기억을 유지하는 것이 기대되지만, 기존 벤치마크는 새로운 증거로 인해 저장된 신념이 무효화되는 능력을 측정하지 못했습니다. 본 논문은 'Implicit Conflict(명시적 충돌)'라는 중요한 실패 모드를 식별하고, 이를 평가하기 위해 100개 이상의 주제와 최대 150K 토큰의 맥락을 포함하는 대규모 STALE 벤치마크를 소개합니다. 이 연구는 에이전트가 구식 상태를 감지하고 메모리를 능동적으로 업데이트하는 것이 어렵다는 것을 보여주었으며, 구조화된 상태 통합 및 전파 감지 검색을 통해 이를 개선할 수 있는 CUPMem 프로토타입도 제시했습니다.
5월 8일11
arXivAI 번역논문
PairAlign: Sequence Tokenization을 위한 Self-Alignment 프레임워크 및 오디오 토크나이제이션에 대한 응용
PairAlign은 오디오 토크나이제이션을 위한 새로운 자기 정렬(self-alignment) 프레임워크입니다. 기존 방식들이 로컬 할당에 의존하여 시퀀스 일관성이나 길이 제어에 취약했던 문제를 해결하기 위해, PairAlign은 토크나이제이션을 조건부 시퀀스 생성 문제로 접근합니다. 이 프레임워크는 자기회귀 디코더를 사용하여 토큰 정체성, 순서, 길이 등을 학습하며, 두 내용 보존 뷰 간의 상호 일관성을 강하게 유지하여 컴팩트하고 비퇴화적인 오디오 시퀀스를 생성할 수 있습니다.
5월 8일6
arXivAI 번역논문
The Frequency Confound in Language-Model Surprisal and Metaphor Novelty
언어모델(LM)의 놀라움(surprisal)은 문맥 예측 가능성의 좋은 대리 지표로 사용되어 왔으며 비유적 신비성 평가와 관련이 있다고 알려져 왔다. 그러나 본 연구는 surprisal이 단어 빈도수와 밀접하게 연관되어 있음을 밝혀내고, 두 가지 다른 단어 빈도 측정법을 사용하여 이 상호작용을 탐구했다. 분석 결과, 모든 설정에서 단어 빈도가 surprisal보다 비유적 신비성을 더 잘 예측했으며, LM의 학습 단계에 따른 놀라움-신비성 연관성은 시간이 지남에 따라 감소하는 경향을 보였다.
5월 8일13
arXivAI 번역논문
Algospeak, Hiding in the Open: The Trade-off Between Legible Meaning and
본 연구는 LLM 시대에 나타나는 '알고스피크(Algospeak)'라는 언어적 회피 전략의 근본적인 역동성을 공동 행동 모델로 공식화합니다. 핵심적으로, 알고스피크가 증가할수록 콘텐츠의 감지 가능성과 이해 가능성은 동시에 감소하는 트레이드오프 관계를 보여줍니다. 연구진은 '다수 이해 가능한 변조(MUM)' 개념을 도입하여, 회피적 변형이 감지를 피하더라도 대중에게는 의미 전달에 어려움을 겪게 되는 임계점을 정의합니다. 이를 검증하기 위해 COVID-19 가짜 뉴스 데이터셋을 구축하고, 다양한 언어 모델을 사용하여 해석 및 분류 테스트를 수행함으로써 이 역동성을 경험적으로 입증하는 재현 가능한 프레임워크를 제시했습니다.
5월 8일14
arXivAI 번역논문
Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep
본 논문은 대규모 언어 모델(LLMs)이 여러 웹 소스를 종합하여 생성하는 보고서에서 인용의 신뢰성을 체계적으로 평가할 수 있는 새로운 프레임워크를 제시합니다. 기존 RAG 방식은 출처 접근성, 관련성, 사실적 일관성을 검증하지 못하는 한계를 가집니다. 제안된 프레임워크는 인라인 인용을 추출하고, 링크 유효성(Link Works), 주제 적합성(Relevant Content), 그리고 소스 기반의 사실 확인(Fact Check) 세 가지 차원에서 평가를 수행합니다. 실험 결과에 따르면, 최신 모델들조차도 높은 수준의 링크 유효성을 보이지만, 사실적 정확성은 39%에서 77% 사이로 크게 떨어지는 불일치가 발견되었습니다. 또한, 검색 소스의 양이 증가할수록 오히려 인용의 사실적 정확도가 감소하는 현상도 확인되어, 단순한 정보 수집만으로는 신뢰성 확보가 어렵다는 점을 시사합니다.
5월 8일9
arXivAI 번역논문
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
LatentRAG는 복잡한 질문에 대응하는 에이전트형 검색 증강 생성(RAG)의 높은 추론 지연 시간을 해결하기 위해 제안된 새로운 프레임워크입니다. 기존 방식들이 자연어 사고와 서브쿼리를 토큰 단위로 명시적으로 생성하여 지연 시간이 길었던 것과 달리, LatentRAG는 숨겨진 상태에서 한 번의 전방 전달만으로 잠재 공간에 대한 사고 및 서브쿼리 토큰을 효율적으로 생성합니다. 이 접근 방식은 검색 과정과 LLM 추론 과정을 통합하고 병렬 잠재 해독 메커니즘을 통해 성능 저하 없이 지연 시간을 획기적으로 줄여, 에이전트형 RAG의 실용성을 크게 향상시킵니다.
5월 8일14
arXivAI 번역논문
Measuring Evaluation-Context Divergence in Open-Weight LLMs: A Paired-Prompt
본 논문은 언어 모델의 안전성 평가가 실제 배포 환경과 다를 수 있다는 문제점('평가 컨텍스트 분기')을 지적하고, 이를 측정하기 위한 'paired-prompt 프로토콜'을 제안합니다. 이 프로토콜은 오픈 웨이트 LLM들을 대상으로 평가 프레임워크와 실제 사용 시나리오(배포) 간의 행동 변화를 관찰했습니다. 연구 결과, 모델들은 특정 방향성으로 민감하게 반응하는 이질적인 패턴을 보였는데, OLMo-3-Instruct는 '평가 주의적(eval-cautious)'인 반면, Mistral, Phi-3.5, Llama-3.1 등은 '배포 주의적(deployment-cautious)'인 경향을 나타냈습니다.
5월 8일12