Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1804건필터 해제
arXiv논문
사고 과정 제어하기: 적응형 LLM 추론을 위한 조건부 엔트로피 셰이핑 (Conditional Entropy Shaping)
조건부 엔트로피 셰이핑(CES)은 LLM의 추론 과정에서 토큰 수준의 엔트로피를 동적으로 제어하여 응답의 길이를 조절하고 정확도를 높이는 프레임워크입니다. 쉬운 문제에서는 간결한 답변을, 어려운 문제에서는 심층적인 탐색을 유도함으로써 기존 방식의 응답 길이와 정확도 간의 트레이드오프 문제를 해결합니다.
5월 20일0
arXiv논문
EmbGen: 재조립된 코퍼스를 활용한 학습 방법
EmbGen은 도메인 코퍼스를 엔티티-설명 쌍으로 분해하고 의미론적 구조를 기반으로 재조립하여 고품질의 합성 학습 데이터를 생성하는 새로운 파이프라인입니다. 기존 합성 데이터 생성 방식이 가진 출력의 균질화 문제를 해결하기 위해 클러스터 특화 프롬프트와 다양한 샘플링 전략을 사용합니다. 실험 결과, EmbGen은 데이터의 의미론적 이질성이 높을수록 기존 베이스라인 대비 비약적인 성능 향상을 보여주었습니다.
5월 20일0
arXiv논문
LambdaPO: 추론 언어 모델을 위한 Lambda 스타일 정책 최적화
LambdaPO는 기존 GRPO 방식이 단일 통계적 베이스라인을 사용하여 미세한 선호도 정보를 손실하는 문제를 해결하기 위해 제안된 새로운 정책 최적화 프레임워크입니다. 이 방식은 이득 추정을 쌍체 선호 구조로 재개념화하고 의미론적 밀도 보상을 도입하여, LLM이 더 정밀한 최적점을 찾을 수 있도록 돕습니다.
5월 20일0
arXiv논문
탈선 시 되돌아가기: LLM 추론 증류(Reasoning Distillation)에서의 이중 노출 편향(Dual Exposure Biases)
LLM 추론 증류 과정에서 발생하는 오프-폴리시의 노출 편향과 온-폴리시의 역방향 노출 편향이라는 '이중 노출 편향' 문제를 분석합니다. 이를 해결하기 위해 학생 모델의 생성 과정을 모니터링하다가 오류 발생 시 안전한 지점으로 되돌아가 교사의 가이드를 받는 MOTAB 파이프라인을 제안합니다. 실험 결과, MOTAB는 추론 작업에서 평균 약 3%의 성능 향상을 달성하며 이중 편향 문제를 효과적으로 완화했습니다.
5월 20일0
arXiv논문
라이브러리 드리프트 (Library Drift): 자기 진화형 LLM 스킬 라이브러리의 침묵하는 실패 모드 진단 및 해결
자기 진화형 스킬 라이브러리는 '라이브러리 드리프트'라는 침묵하는 실패 모드에 직면해 있습니다. 이는 결과 중심의 관리 없이 무제한적으로 스킬이 축적되면서 검색 성능 저하, 거짓 양성 주입 등을 유발합니다. 본 연구는 이 드리프트를 진단하기 위한 재현 가능한 트리거와 추적 수준의 전용 진단 도구를 제공하며, 최소한의 거버넌스 레시피(결과 중심 은퇴, 활성 상한 제한 등)를 통해 성능을 크게 개선하는 해결책을 제시합니다.
5월 20일0
arXiv논문
optimize_anything: 모든 텍스트 파라미터를 최적화하기 위한 범용 API
본 논문은 단일 LLM 기반 최적화 시스템이 다양한 도메인의 전문화된 작업에서 최고 수준의 성능을 달성할 수 있음을 입증합니다. 이 시스템은 텍스트 산출물을 점수 함수로 평가하여 개선하는 방식으로, 단일 작업 탐색부터 문제 간 전이를 포함한 다중 작업 탐색까지 지원합니다. 연구 결과, Gemini Flash 대비 ARC-AGI 정확도를 크게 향상시키고, 클라우드 비용 절감 알고리즘을 찾으며, CUDA 커널 생성 등 다양한 분야에서 뛰어난 범용성을 보여주었습니다.
5월 20일0
arXiv논문
CEPO: 대조적 증거 정책 최적화 (Contrastive Evidence Policy Optimization)를 이용한 RLVR 자기 증류
CEPO(Contrastive Evidence Policy Optimization)는 RLVR 환경에서 결정적인 추론 토큰과 단순 채우기용 토큰을 구분하기 위해 제안된 새로운 자기 증류 방법론입니다. 정답과 오답 교사를 대조하여 진정한 추론 단계에만 정교한 보상을 할당함으로써, 기존 방식의 정보 유출 및 신호 약화 문제를 해결합니다. 실험 결과, 2B 및 4B 모델 규모에서 기존 GRPO 및 분포 매칭 방식보다 높은 수학적 추론 성능을 입증했습니다.
5월 20일0
arXiv논문
이산 확산 언어 모델 (Discrete Diffusion Language Models) 정교화를 위한 드리프팅 목적 함수 (Drifting
본 연구는 이산 확산 언어 모델(DDLMs)의 생성 품질을 높이기 위해 연속형 모델에서 사용되는 드리프팅(drifting) 방법론을 이산적 텍스트 환경에 적용하는 TokenDrift 목적 함수를 제안합니다. 하드 토큰의 미분 불가능성 문제를 해결하기 위해 범주형 예측을 소프트 토큰 특징으로 격상시키고 동결된 의미 공간에서 반대칭 드리프팅을 적용합니다. 실험 결과, MDLM과 DUO 모델에서 적은 샘플링 횟수(NFE)로도 생성 퍼플렉서티를 획기적으로 낮추며 우수한 성능 향상을 입증했습니다.
5월 20일0
arXiv논문
베이스 모델은 AI 탐지기에게 인간처럼 보인다
베이스 모델로 생성된 텍스트는 지시어 튜닝(instruction-tuned) 모델보다 AI 탐지기에서 인간의 글로 오인될 가능성이 높다는 사실이 발견되었습니다. 연구진은 이를 바탕으로 베이스 모델을 미세 조정하여 반복적으로 패러프레이징하는 HIP(Humanization by Iterative Paraphrasing) 기법을 제안하여 탐지 회피 성능을 높였습니다. 이는 현재의 AI 탐지기들이 모델의 본질적 특성보다 지시어 튜닝 과정에서 발생하는 인위적인 흔적을 추적하고 있음을 시사합니다.
5월 20일0
arXiv논문
관점: 실제 세계의 자기회귀적 Transformer의 튜링 완전성(Turing-Completeness)은 컨텍스트 관리(Context
본 논문은 Transformer의 튜링 완전성(Turing-completeness)을 논할 때 고정된 시스템 설정과 스케일링 패밀리 설정을 혼동하는 기존 연구의 오류를 지적합니다. 저자는 실제 LLM 배포 환경에 부합하는 고정 시스템 설정을 제안하며, 모델의 계산 능력이 컨텍스트 관리 방식에 의해 결정적으로 좌우됨을 강조합니다.
5월 20일0
arXiv논문
교차 모달 기술 주입 조사: 시나리오, 방법론 및 하이퍼파라미터
본 연구는 시각-언어 모델(VLM)이 도메인 특화 지식을 효율적으로 습득할 수 있도록 하는 '교차 모달 기술 주입(cross-modal skill injection)' 기술을 체계적으로 조사합니다. 모델 병합을 통해 LLM의 전문 지식을 VLM으로 전달하는 과정에서 발생하는 시나리오별 성능, 방법론, 하이퍼파라미터의 영향을 분석하였습니다.
5월 20일0
arXiv논문
m3BERT: 현대적인 다국어 Matryoshka 양방향 인코더
m3BERT는 다양한 임베딩 차원과 Transformer 레이어에서 표현력을 공동 최적화하는 Matryoshka 사전 학습 전략을 도입한 새로운 다국어 양방향 인코더입니다. 단일 모델로 자원 제약과 정확도 목표에 따라 유연하게 대응할 수 있으며, 3단계 사전 학습 과정을 통해 상업적 검색 성능을 극대화했습니다. Bing-Click 데이터셋 등에서 기존 SOTA 모델을 능가하는 성능을 입증하며 산업용 검색 시스템의 효율적인 기반을 제시합니다.
5월 20일0
arXiv논문
GoLongRL: 멀티태스크 정렬을 통한 능력 중심의 롱 컨텍스트 강화학습 (Long Context Reinforcement Learning)
GoLongRL은 검증 가능한 보상(RLVR)을 활용하여 롱 컨텍스트 능력을 강화하는 오픈 소스 기반의 사후 학습 레시피입니다. 9가지 작업 유형을 포괄하는 23K개의 능력 중심 데이터셋과 이질적인 멀티태스크 최적화를 위한 TMN-Reweight 알고리즘을 통해 기존 모델 대비 뛰어난 성능을 입증했습니다.
5월 20일3
arXiv논문
LLMEval-Logic: 적대적 강화(Adversarial Hardening)를 통한 LLM의 논리적 추론 평가를 위한 솔버 검증 기반
LLMEval-Logic은 LLM의 논리적 추론 능력을 정밀하게 평가하기 위해 제안된 새로운 벤치마크입니다. Z3 솔버를 활용한 형식적 검증과 적대적 강화(Adversarial Hardening) 워크플로우를 통해 기존 벤치마크의 한계를 극복하고, 현실적인 시나리오 기반의 고난도 논리 추론 항목을 제공합니다. 실험 결과, 최신 LLM들도 고난도 항목에서는 낮은 정확도를 보이며 여전히 논리적 추론에 큰 어려움을 겪고 있음이 확인되었습니다.
5월 20일0
arXiv논문
OScaR: LLM 및 그 이상의 영역에서 극단적인 KV 캐시 양자화(Quantization)를 위한 오컴의 면도날
OScaR은 LLM의 긴 문맥 추론과 멀티모달 지능 구현 시 발생하는 KV 캐시 메모리 병목 현상을 해결하기 위한 새로운 양자화 프레임워크입니다. 기존 채널별 양자화의 한계인 토큰 노름 불균형(TNI) 문제를 해결하기 위해 Canalized Rotation과 Omni-Token Scaling을 도입하여 INT2 수준의 극단적인 압축에서도 성능 저하를 최소화합니다.
5월 20일0
arXiv논문
K-양자화 (K-Quantization) 및 그것이 출력 성능에 미치는 영향
본 논문은 다양한 양자화 수준이 거대 언어 모델(LLMs)의 성능과 정확도에 미치는 영향을 MMLU-Pro, CRUXEval, MuSR 등의 벤치마크를 통해 조사합니다. 연구 결과, 높은 정밀도에서는 성능 향상이 나타나지만 수확 체감의 법칙이 적용되며, 모델의 크기가 클수록 공격적인 양자화에 대해 더 높은 회복 탄력성을 보임을 확인했습니다.
5월 20일0
arXiv논문
대규모 언어 모델(LLM)이 저자원 ASR의 오류를 신뢰성 있게 수정할 수 있는가? West Frisian에 대한 데이터 오염 인지 사례 연구
본 연구는 저자원 언어인 West Frisian을 대상으로 LLM을 활용한 자동 음성 인식(ASR) 오류 수정(GER)의 효과와 데이터 오염 영향을 조사했습니다. 비공개 텍스트를 포함한 오프라인 데이터셋을 통해 검증한 결과, LLM 기반의 오류 수정이 실제 성능 향상으로 이어짐을 확인했습니다.
5월 20일0
arXiv논문
사회적 상호작용 에이전트의 신뢰 보정(Trust Calibration)을 향하여: LLM을 이용한 성별화된 멀티모달 행동 생성 연구
본 연구는 사회적 상호작용 에이전트(SIA)가 사용자의 신뢰를 적절히 조절할 수 있도록 LLM을 활용해 능력과 선의를 반영한 멀티모달 행동을 생성하는 방법을 제안합니다. 실험 결과 GPT-4(본문 내 GPT-5.4는 오기로 판단됨)가 텍스트, 음성, 표정 등 다양한 양식에서 일관된 행동을 생성할 수 있음을 확인했으나, 성별 프롬프트 입력 시 사회적 성 고정관념이 나타나는 한계도 발견했습니다.
5월 20일0
arXiv논문
무엇이 수학적 추론을 진정으로 향상시키는가: 순수 코드를 넘어선 구조적 추론 신호
본 연구는 코드 데이터가 언어 모델의 일반적 추론 능력을 향상시키는지에 대해 10T-토큰 코퍼스를 활용한 통제된 사전 학습 실험으로 분석했습니다. 연구 결과, 순수 코드는 프로그래밍 능력은 높이지만 일반 추론 강화제로는 한계가 있으며, 오히려 코드와 텍스트가 결합된 구조적 추론 흔적이 수학적 추론 향상에 핵심적인 역할을 한다는 것을 밝혀냈습니다.
5월 20일0
arXiv논문
아랍어 기반 LLM 금융 감성 분석: 사우디 시장의 증거
사우디 시장의 언어적 특성을 반영하여 아랍어 금융 뉴스 및 소셜 미디어를 분석하는 새로운 NLP 프레임워크를 제안합니다. Transformer 기반 NER과 기업 사전을 결합한 다단계 파이프라인을 통해 84K 규모의 고품질 아랍어 금융 데이터셋을 구축하였습니다. 이를 통해 기업별 감성 집계와 사우디 거래소 주식 시장의 움직임 간의 상관관계를 분석할 수 있음을 입증했습니다.
5월 20일0