Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1795건필터 해제
arXiv논문
야생에서의 프로빙: 비지도 조음 분석을 통한 중국어 하위 방언에서의 자기지도 음성 표현 사례 연구
본 연구는 라벨이 없는 데이터를 활용하여 중국어 자기지도 음성 모델이 방언의 조음 특징을 어떻게 표현하는지 분석합니다. 언어 중립적 프로빙 파이프라인을 통해 방언별 조음 특징의 해독 가능성과 층별 표현 역학의 차이를 규명했습니다.
6월 25일0
arXiv논문
당신의 탈옥 판정관(Jailbreak Judge)은 얼마나 신뢰할 수 있는가? 자동화된 ASR 점수의 보정(Calibration) 및 적대적
LLM 탈옥 및 프롬프트 주입 판정에 사용되는 자동화된 판정관(Automated Judge)의 신뢰성을 검증한 연구입니다. 전용 분류기와 LLM-as-a-judge가 각각 과잉 탐지 및 불안정한 재현율 문제를 겪으며, 적대적 공격에 취약함을 밝혀냈습니다.
6월 25일0
arXiv논문
우리의 별점 오류: 별점-감성 불일치의 행동적 동인
온라인 리뷰에서 별점과 서술형 텍스트의 감성이 일치하지 않는 '감성-별점 불일치' 현상을 분석한 연구입니다. 트랜스포머 기반 파이프라인을 통해 불일치 패턴을 분류하고, 별점이 텍스트 감성의 완벽한 정답 레이블이 될 수 없음을 경고합니다.
6월 25일0
arXiv논문
Soft Dynamic Programming을 통한 완전 미분 가능한 신경망 강제 정렬 (Fully Differentiable Neural
전통적인 HMM-GMM 방식의 한계를 극복하기 위해 소프트 동적 계획법(Soft Dynamic Programming)을 활용한 완전 미분 가능한 신경망 기반의 음소 정렬 모델을 제안합니다. 이 모델은 인코더와 디코더 구조를 통해 음소 정체성과 경계를 정밀하게 탐지하며, 기존 SOTA 기술보다 뛰어난 성능과 언어 일반화 능력을 보여줍니다.
6월 25일0
arXiv논문
Cliff Tokens: LLM 수학적 추론에서의 단일 토큰 실패 트리거 식별
LLM의 수학적 추론 실패를 유발하는 특정 토큰인 '클리프 토큰(Cliff Token)'을 정의하고 식별하는 연구를 소개합니다. 클리프 토큰을 제거하거나 Cliff-DPO를 통해 최적화함으로써 모델의 추론 정확도를 크게 향상시킬 수 있음을 입증했습니다.
6월 25일0
arXiv논문
실제 소프트웨어 성능 최적화에 대한 LLM 평가
소프트웨어 성능 최적화 능력을 평가하기 위한 새로운 저장소 수준 벤치마크인 SWE-Pro를 소개합니다. 기존 벤치마크의 한계를 넘어 실행 시간과 메모리 사용량 간의 트레이드오프를 정밀하게 측정합니다. 평가 결과, 현재 LLM은 전문가 수준의 최적화 성능에 크게 미치지 못함을 확인했습니다.
6월 25일0
arXiv논문
검색 증강 생성(RAG)의 보안 및 개인정보 보호: 신뢰할 수 있는 시스템 구축을 위한 아키텍처, 위협, 방어 및 향후 방향
RAG 시스템의 보안 및 개인정보 보호 위협을 분석하고 신뢰할 수 있는 아키텍처 구축 방안을 제시합니다. 검색, 컨텍스트 구축, 생성 단계에서 발생할 수 있는 다양한 공격 유형과 방어 기법을 체계적으로 검토합니다.
6월 25일0
arXiv논문
SFL-MTSC: 강건한 다중 의도 음성 언어 이해를 위한 의미론적 프레임 수준 다중 작업 자기 일관성 활용
LLM 기반 음성 언어 이해(SLU)에서 발생하는 다중 의도 예측의 불일치 문제를 해결하기 위한 SFL-MTSC 프레임워크를 제안합니다. 의미론적 프레임 수준에서 의도별 분해와 클러스터링을 통해 예측의 일관성을 높이는 구조적 집계 방식을 사용합니다.
6월 25일0
arXiv논문
BiPACE: LLM 에이전트를 위한 행동 반사실적 추정(Action Counterfactual Estimation)을 결합한
LLM 에이전트의 강화학습 효율을 높이기 위해 상태-행동 신용 불일치 문제를 해결하는 BiPACE 방법론을 제안합니다. BiGPO와 PACE를 결합하여 추가적인 비평가나 롤아웃 없이도 에이전트의 성공률을 크게 향상시킵니다.
6월 25일0
arXiv논문
Riazi-8B: 수학적 추론을 위한 우르두어 거대 언어 모델 (LLM)
저자원 언어인 우르두어의 수학적 추론 능력을 강화하기 위해 개발된 Riazi-8B 모델을 소개합니다. Wikipedia를 활용한 지속적 사전 학습과 GSM8K 기반의 CoT 데이터를 통한 미세 조정을 통해 성능을 최적화했습니다.
6월 25일0
arXiv논문
Open-Weight LLM에서의 제약 비용: 구조화된 출력 제약 하에서의 도구 호출 억제에 관한 실증적 연구
오픈 웨이트 모델에서 도구 호출과 JSON 스키마 제약이 동시에 적용될 때 도구 호출이 억제되는 '도구 억제(Tool Suppression)' 현상을 분석한 연구입니다. JSON 스키마 제약이 토큰 마스크를 통해 도구 호출 토큰 접근을 차단하는 원인을 밝히고, 이를 해결하기 위한 '투명한 2패스 실행' 전략을 제안합니다.
6월 25일0
arXiv논문
캐릭터 유지하기: 도서 기반 역할 수행 에이전트를 위한 관점 제한 메모리
LLM 기반 캐릭터 에이전트의 사실적 과잉과 스타일 단조로움을 해결하기 위한 3계층 메모리 아키텍처 REVERIEMEM을 제안합니다. 에피소드, 의미, 성격 계층을 통해 캐릭터의 관점을 유지하며 내러티브 생성 능력을 크게 향상시켰습니다.
6월 25일0
arXiv논문
GraphRAG가 정말 필요한가? 기본 RAG에서 컨텍스트 최적화를 통한 Graph-/Agentic 솔루션까지
본 논문은 일반 RAG부터 GraphRAG, Agentic RAG까지 다양한 RAG 변형 모델을 비교 평가하는 프레임워크를 제안합니다. 새로운 컨텍스트 엔지니어링 기법을 통해 토큰 사용량을 최대 53% 절감하고, 검색-생성 간극(retrieval-generation gap) 문제를 분석합니다.
6월 25일0
arXiv논문
BitNet 텍스트 임베딩 (BitNet Text Embeddings)
BITEMBED는 LLM 기반 텍스트 임베딩의 높은 추론 비용과 저장 공간 문제를 해결하기 위한 극저비트 프레임워크입니다. BitNet 스타일의 양자화 기술과 지식 증류를 통해 성능 저하를 최소화하면서도 효율적인 임베딩 생성을 가능하게 합니다.
6월 25일0
arXiv논문
토큰 영향력 귀속을 통한 오염된 검색 코퍼스 내 타겟 답변 추적
RAG 시스템의 코퍼스 오염 공격을 탐지하기 위한 경량 프레임워크 TRACE를 제안합니다. 토큰 영향력 귀속 기술을 활용하여 추가적인 LLM 검증 없이도 악의적인 문서를 식별하고 타겟 답변을 추적할 수 있습니다.
6월 25일0
arXiv논문
RAS: 거절 정렬 (Refusal Alignment)을 통한 LLM 안전성 측정
LLM의 안전성을 출력 결과가 아닌 내부 표현(internal representations)을 통해 측정하는 화이트박스 평가 방식인 SafeVec과 RAS 지표를 제안합니다. 이 방식은 기존의 출력 기반 평가보다 비용이 적고 빠르며, 모델의 거절 정렬 상태를 0-100 점수로 정밀하게 측정할 수 있습니다.
6월 25일0
arXiv논문
OPERA: 객관적 Perplexity 기반 강화학습을 통한 개방형 추론 정렬
OPERA는 LLM의 개방형 작업 정렬을 위해 Perplexity 기반의 내재적 보상을 사용하는 강화학습 방법론을 제안합니다. 외부 판사의 편향 문제를 해결하고, 데이터 합성 및 Perplexity 우선순위 롤아웃을 통해 고품질 추론 궤적을 생성합니다. Qwen3-8B에 적용 시 오픈 소스 SOTA를 기록하며 일부 폐쇄형 모델과 대등한 성능을 보였습니다.
6월 25일0
arXiv논문
컴퓨터 사용 에이전트를 위한 불확실성 정량화 (Uncertainty Quantification): 시각-언어 모델 (VLM) 및 GUI
컴퓨터 사용 에이전트의 신뢰성을 높이기 위한 불확실성 정량화(UQ) 연구와 새로운 벤치마크인 Argus를 소개합니다. 다양한 VLM과 데이터셋 환경에서 UQ 방법론의 안정성을 분석하고, 모델 및 인터페이스 변화에 따른 성능 전이 특성을 규명합니다.
6월 25일0
arXiv논문
한계 내에서의 공간 효율적인 언어 생성
제한된 메모리 자원 하에서 언어를 학습하고 생성하는 과정에 대한 이론적 프레임워크를 제시합니다. DFA를 활용하여 공간 효율적인 언어 생성의 한계와 메모리 예산에 따른 생성 성능의 변화를 수학적으로 규명합니다.
6월 25일0
arXiv논문
인코더만으로 충분한가? LLM 적대적 평가를 위한 인코더 및 디코더 안전성 판사(Safety Judges)의 체계적 비교
LLM의 안전성 평가를 위해 기존 LLM 기반 판사 대신 ModernBERT와 같은 인코더 분류기를 사용하는 방식의 성능을 체계적으로 비교 연구했습니다. 인코더 분류기가 비용과 지연 시간을 줄이면서도 유해 출력을 효과적으로 식별할 수 있는지 다양한 공격 기법과 지표를 통해 검증했습니다.
6월 25일0