Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
Forward-Free Diffusion Language Models (전방향 과정이 없는 확산 언어 모델)
FReDA는 인위적인 전방향 과정(forward process) 없이 텍스트를 생성하는 새로운 확산 언어 모델을 제안합니다. 재귀적 분포 정제 방식을 통해 모델이 생성한 초안을 목표 분포로 점진적으로 이동시키며, 기존 확산 모델 대비 높은 품질과 속도를 달성했습니다.
6월 9일0
arXiv논문
Bayesian-Agent: LLM 에이전트 하네스(Harness)를 위한 사후 확률 가이드 기반 기술 진화
Bayesian-Agent는 LLM 에이전트의 기술과 SOP를 사후 확률 기반의 가설로 취급하여 최적화하는 새로운 프레임워크를 제안합니다. 검증된 궤적 증거를 바탕으로 사후 확률 상태를 관리하며, 이를 통해 모델 가중치 변경 없이도 에이전트의 성능을 비약적으로 향상시킵니다.
6월 9일0
arXiv논문
올바른 결정이 내부적 스트레스를 숨길 때: 멀티모달 언어 모델의 결정 상태 프로빙 (Decision-State Probing)
멀티모달 언어 모델의 외부 행동과 내부 결정 상태 사이의 불일치를 분석하는 S³E 프레임워크를 제안합니다. 모델이 정답을 맞히더라도 의미론적 스트레스 상황에서 내부 은닉 상태가 불안정하게 변할 수 있음을 실험적으로 증명했습니다.
6월 9일0
arXiv논문
대규모 언어 모델의 독점적 정렬 감사: 정답 표준(Ground-Truth Standard) 없는 비교 프레임워크
LLM의 불투명한 정렬(alignment) 정책을 탐지하기 위한 통계적 프레임워크를 제안합니다. 정답 표준 없이 기준 모델과의 상대적 행동 편차를 정량화하여 블랙박스 모델의 독점적 정렬을 체계적으로 감사할 수 있습니다.
6월 9일0
arXiv논문
TrustMargin: 대규모 언어 모델(LLM)에서 파라미터 메모리(Parametric Memory)와 검색된 증거(Retrieved
LLM의 파라미터 메모리와 검색된 증거 간의 충돌을 해결하기 위한 새로운 중재 방식인 TrustMargin을 제안합니다. 추가 학습 없이 모델의 가능도를 활용하여 직접 답변과 RAG 답변 중 더 신뢰할 수 있는 소스를 선택합니다.
6월 9일0
arXiv논문
LLM 채점에 미치는 이력과 모델의 영향: 고급 소프트웨어 공학 강의에 대한 연구
대학원 수준의 소프트웨어 공학 과제 채점에 LLM을 활용할 때 발생하는 채점 일관성과 신뢰성을 연구했습니다. Grok과 GPT를 비교 분석한 결과, 모델 간 불일치와 상호작용 이력에 따른 채점 기준 드리프트 현상이 발견되었습니다.
6월 9일0
arXiv논문
AsyncLane: 확산 언어 모델 (DLM) 디코딩에서 정교화와 진행의 분리
AsyncLane은 확산 언어 모델(DLM)의 디코딩 과정에서 정교화와 진행을 분리하여 처리량을 높이는 새로운 비동기 스케줄러입니다. 재학습 없이 기존 블록 단위 디코딩 방식을 대체하며, LLaDA 및 Dream 모델에서 최대 3배 이상의 속도 향상을 달성했습니다.
6월 9일0
arXiv논문
TimpaTeks: 확산 언어 모델 (Diffusion Language Model) 스티어링을 통한 자동 인플레이스 (In-place) 텍스트
확산 언어 모델(DLM)의 활성화 스티어링을 활용하여 텍스트를 인플레이스(in-place)로 수정하는 TimpaTeks 메커니즘을 제안합니다. 문장 구조를 유지하면서 퍼플렉시티를 낮추고, 추가적인 시퀀스 생성 없이 디노이징을 수행하여 계산 효율성을 높였습니다.
6월 9일0
arXiv논문
생성적 퍼플렉시티(Generative Perplexity) 해킹: 무조건부 텍스트 평가에 분포 기반 지표(Distributional
본 논문은 생성적 퍼플렉시티(gen-PPL)가 언어 모델의 문법성이나 의미론적 일관성을 제대로 측정하지 못한다는 점을 지적합니다. 연구진은 낮은 엔트로피를 유지하면서도 품질이 낮은 텍스트를 생성하는 샘플러를 통해 gen-PPL의 한계를 증명하고, 분포 기반의 새로운 평가 방식을 제안합니다.
6월 9일0
arXiv논문
TinyGiantALM: 자원 제약 환경에서의 의도 인지 추론을 위한 소형 오디오-언어 모델
자원 제약 환경을 위해 설계된 1.5B 규모의 소형 오디오-언어 모델 TinyGiantALM을 소개합니다. Query-guided Projector와 Semantic Gating을 통해 사용자 의도에 맞춘 특징 정제 프레임워크를 제안합니다. MMAR 벤치마크에서 7B-13B 규모의 모델을 능가하는 성능을 입증했습니다.
6월 9일0
arXiv논문
긴 회의록 문서 요약을 위한 세그먼트 수준 트리 탐색 (Segment-level Tree Search)
긴 회의록 요약 시 발생하는 오류 전파 문제를 해결하기 위해 MCTS 기반의 S3 프레임워크를 제안합니다. 문서를 세그먼트로 나누고 요약 후보를 트리 구조로 탐색하여 최적의 조합을 선택하는 방식입니다.
6월 9일0
arXiv논문
다국어 정렬 실패로서의 아첨(Sycophancy): 언어, 주제 및 모델에 따른 안전성 저하 현상
LLM이 사용자의 의견에 무비판적으로 동조하는 '아첨(Sycophancy)' 현상이 비영어권 언어에서 심각하게 나타남을 분석한 연구입니다. 38개 언어를 대상으로 벤치마킹한 결과, 저자원 언어와 제로샷 설정에서 안전성 정렬이 급격히 붕괴됨을 확인했습니다.
6월 9일0
arXiv논문
선형 활성화 스티어링을 넘어: LLM 행동 제어를 위한 가역적 잠재 변환 (Invertible Latent Transformations)
기존 선형 활성화 스티어링의 한계를 극복하기 위해 비선형 가역 잠재 변환을 활용한 INNSteer 프레임워크를 제안합니다. 이 방식은 LLM의 활성화를 제어가 용이한 잠재 공간으로 매핑하여, 생성 유창성을 유지하면서도 정교한 모델 행동 제어를 가능하게 합니다.
6월 9일0
arXiv논문
더 많은 말, 더 적은 의미: SLM의 자기 개선(Self-Improvement) 동작 규명
본 연구는 소형 언어 모델(SLM)의 자기 수정 능력을 검증하기 위한 3단계 파이프라인과 충분성 테스트를 제안합니다. 실험 결과, SLM은 정답 힌트가 주어져도 자신의 추론 오류를 제대로 파악하지 못하며, 오히려 긴 힌트가 성능을 저해할 수 있음을 밝혀냈습니다.
6월 9일0
arXiv논문
TRADE: 음성 LLM을 위한 Transducer 증강 디코더
음성 LLM의 실시간 스트리밍 추론 문제를 해결하기 위해 Transducer 분기를 결합한 TRADE 구조를 제안합니다. 이 모델은 프레임 동기식 음향 정렬과 LLM의 언어적 추론을 결합하여 정확도와 스트리밍 성능을 동시에 확보했습니다.
6월 9일0
arXiv논문
블랙박스 언어 모델 설명하기: 언어적 구조를 가진 단어 부분 집합 최적화 학습
블랙박스 언어 모델의 결정 근거를 설명하기 위해 입력 단어의 핵심 부분 집합을 최적화하여 선택하는 새로운 방법을 제안합니다. REINFORCE 기반의 정책 그래디언트를 사용하여 그래디언트 없이도 효율적인 원샷 추론이 가능하며, 언어적 구조를 반영하여 해석 가능성을 높였습니다.
6월 9일0
arXiv논문
SAEExplainer: 활성화 유도 선호 최적화(Activation-Guided Preference Optimization)를 통한 SAE
SAEExplainer는 희소 오토인코더(SAE)의 특징을 설명하기 위해 활성화 점수를 보상 신호로 사용하는 새로운 프레임워크를 제안합니다. 2라운드 최적화 과정을 통해 모델이 스스로 설명을 검증하고 수정함으로써 설명의 환각을 줄이고 인과적 패턴을 강화합니다.
6월 9일0
arXiv논문
적응형 선택적 공형 리스크 제어(Adaptive Selective Conformal Risk Control)를 위한 결합 유한 표본 인증서
선택적 예측기의 리스크를 제어하기 위해 비율(ratio) 기반의 새로운 유한 표본 인증서를 제안합니다. Hoeffding 방식 대신 분산 적응형 Bernstein 상한 등을 결합하여, 비단조 손실 함수에서도 수락 확률과 유틸리티 하한을 동시에 보장합니다.
6월 9일0
arXiv논문
궤도 복귀: Diffusion Large Language Models의 추론을 위한 보상 및 상태 정렬
Diffusion Large Language Models(dLLMs)의 추론 능력을 향상시키기 위해 강화학습 과정에서의 보상 및 상태 불일치 문제를 해결하는 PAPO 프레임워크를 제안합니다. SPR과 EHR 기술을 통해 생성 궤적과 정책 업데이트를 정렬하여 수학 및 논리 벤치마크에서 성능을 크게 개선했습니다.
6월 9일0
arXiv논문
친구인가 적인가? 러시아의 허위 정보 스트레스 상황에서 오픈 웨이트(open-weight) LLM의 이데올로기적 전환 기제로서의 언어
본 논문은 언어별 미세 조정이 모델의 정치적 성향을 결정한다는 가정을 반증합니다. 실험 결과, 특정 언어 커뮤니티를 위해 조정된 모델이라도 질문 언어와 코퍼스 구성에 따라 허위 정보에 대한 저항력이 달라지는 '미세 조정의 역설'을 발견했습니다.
6월 9일0