Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1795건필터 해제
arXiv논문
언어 모델에게 역사적 이탈리아어는 얼마나 놀라운가? 토큰화 비용(Tokenization Tax), 이해 비용(Comprehension Tax)
LLM이 역사적 언어를 처리할 때 발생하는 난이도를 토큰화 비용과 이해 비용으로 분해하여 분석한 연구입니다. 17세기 이탈리아어와 18세기 러시아어 데이터를 통해 인코딩 비용과 예측 불확실성의 차이를 규명했습니다.
6월 26일0
arXiv논문
다국어 추론 캐스케이드(Multilingual Reasoning Cascades)에는 더 많은 문맥이 필요하다
다국어 추론 시 발생하는 정보 손실을 줄이기 위해 '문맥 인식 번역 캐스케이드' 방식을 제안합니다. 원래 질문과 추론 과정을 최종 번역 단계에 포함함으로써 다양한 언어 환경에서 성능을 크게 향상시켰습니다.
6월 26일0
arXiv논문
표면적 형태를 넘어: LLM 기반 암호화된 언어 탐지를 위한 메커니즘 중심의 포괄적인 간접 언어 인코딩(ILE) 분류 체계
검열을 피하기 위해 사용되는 간접 언어 표현(ILE)을 탐지하기 위해 메커니즘 중심의 새로운 분류 체계를 제안하는 연구입니다. LLM을 활용해 알고스피크와 완곡어법 등을 효과적으로 분류하며, 기존 방식 대비 정확도와 F1 점수를 크게 향상시켰습니다.
6월 26일0
arXiv논문
다국어 공동 개체-관계 추출 파이프라인을 활용한 유럽 정치 엘리트 네트워크 매핑
유럽 정치 엘리트 네트워크를 매핑하기 위해 다국어 공동 개체-관계 추출을 수행하는 오픈 웨이트 파이프라인을 제안합니다. LLM의 교차 언어 능력 한계를 극복하고 Wikidata 식별자 매핑과 MoE 모델을 활용해 시계열 지식 그래프를 구축합니다.
6월 26일0
arXiv논문
독일 중앙은행의 증권 투자설명서 내 적격성 기준에 대한 LLM 기반 검토
독일 중앙은행의 증권 담보 적격성 검토를 위해 LLM 기반의 생성적 정보 추출 파이프라인을 제안하는 연구입니다. 기존 NER 방식의 한계를 극복하기 위해 추출, 정규화, 해석 단계로 프로세스를 분해하여 복잡한 투자설명서를 처리합니다.
6월 26일0
arXiv논문
Nemotron-TwoTower: 사전 학습된 자기회귀(Autoregressive) 컨텍스트를 활용한 확산 언어 모델링 (Diffusion
NVIDIA가 제안하는 Nemotron-TwoTower는 컨텍스트 처리와 노이즈 제거 역할을 두 개의 타워로 분리한 블록 단위 자기회귀 확산 모델입니다. 기존 자기회귀 모델의 품질을 유지하면서도 생성 처리량을 2.42배 향상시킨 것이 특징입니다.
6월 26일0
arXiv논문
인간은 포기하고 추론 모델은 지속한다: 난이도 등록(Difficulty Registration)과 숙고 할당(Deliberation
대규모 추론 모델(LRM)과 인간의 문제 해결 방식 차이를 분석한 연구입니다. 인간은 어려운 문제에서 포기하는 경향이 있는 반면, LRM은 불확실성이 높을수록 더 많은 토큰을 소모하며 추론을 지속하는 상반된 패턴을 보입니다.
6월 26일0
arXiv논문
검색 메모리의 시간적 유효성: 진화하는 지식에 대응하는 AI 에이전트의 오래된 사실 오류 제거
RAG 시스템이 시간이 지남에 따라 변화하는 지식(API 변경 등)을 처리할 때 발생하는 '오래된 사실 오류' 문제를 해결하기 위한 MemStrata를 제안합니다. MemStrata는 이중 시간 원장 방식을 통해 LLM 호출 없이도 모순된 정보를 효과적으로 제거하며, 진화하는 지식 환경에서 RAG보다 월등한 정확도를 보여줍니다.
6월 26일0
arXiv논문
다차원 텍스트 분석 접근법을 통한 개정 후 리스크 공시 품질의 변화 평가
일본의 공시 개혁 이후 기업의 리스크 공시 품질 변화를 다차원 텍스트 분석법으로 평가한 연구입니다. NLP 지표를 활용해 10년간의 데이터를 분석한 결과, 공시량은 증가했으나 가독성은 저하되는 등 복잡한 변화 양상을 확인했습니다.
6월 26일0
arXiv논문
주의력 결핍 격차 (Inattentional Gap): 작업 조건부 언어 및 시각 모델이 보고 가능한 안전 필수 신호를 누락하는 현상
특정 작업에 조건화된 언어 및 시각 모델이 안전 필수 신호를 누락하는 '주의력 결핍 격차(Inattentional Gap)' 현상을 연구했습니다. 이는 모델 규모나 추론 능력과 관계없이 나타나며, 벤치마크 점수와 실제 안전성 사이의 괴리를 유발합니다.
6월 26일0
arXiv논문
DiARC: 양성 및 음성 샘플의 구분이 대규모 언어 모델(LLM)의 ARC 유사 추론 능력을 향상시키는 데 도움이 된다
DiARC는 LLM의 ARC 유사 추론 능력을 높이기 위해 양성 샘플뿐만 아니라 음성 샘플을 활용하는 새로운 방법론을 제안합니다. 선호도 정렬 방식을 차용하여 모델이 정답과 오답을 구별하도록 학습시켜 추론 성능을 향상시킵니다.
6월 26일0
arXiv논문
Erase-then-Delta Attention: Delta-Rule 선형 어텐션에서 삭제와 쓰기 주소의 분리
Erase-then-Delta Attention(EDA)은 선형 어텐션의 메모리 업데이트를 개선하기 위해 삭제와 쓰기 주소를 분리한 새로운 메커니즘을 제안합니다. 기존 델타 규칙의 한계를 넘어 오래된 정보를 선택적으로 제거함으로써 장문맥 처리 성능을 극대화합니다.
6월 26일0
arXiv논문
모달리티를 가로지르는 적대적 확산: 텍스트, 비전 및 시각-언어 모델에 대한 공격, 방어 및 평가의 융합 조사
텍스트, 비전, 시각-언어 모델을 대상으로 하는 확산 기반 적대적 공격 및 방어 기술을 통합적으로 조사한 연구입니다. 네 가지 주요 경로를 단일 프레임워크로 통합하고, 50편의 논문을 분석하여 새로운 분류 체계와 평가 기준을 제안합니다.
6월 26일0
arXiv논문
외부 지식과 성찰적 사고 사슬(Reflective Chain-of-Thought) 추론을 통해 강화된 제로샷 트윗 수준 입장 탐지
트윗의 문맥 희소성과 암시적 대상 문제를 해결하기 위해 외부 지식과 성찰적 사고 사슬(Reflective CoT)을 결합한 KIRP 프레임워크를 제안합니다. 지식 그래프 통합과 대조 학습을 통해 제로샷 입장 탐지 성능을 최신 수준(SOTA)으로 끌어올렸습니다.
6월 26일0
arXiv논문
저자원 텍사트 음성 합성(TTS)의 품질 격차 해소: Khmer 및 Korean을 위한 VoxCPM2의 LoRA 미세 조정
VoxCPM2 모델을 활용하여 크메르어와 한국어와 같은 저자원 언어의 TTS 품질 격차를 해소하는 연구를 소개합니다. LoRA 미세 조정을 통해 소량의 파라미터만으로 크메르어의 음성 품질을 유의미하게 향상시켰습니다.
6월 26일0
arXiv논문
가중치에서 특징으로: LLM 지속 학습을 위한 SAE 유도 활성화 정규화
LLM의 지속 학습 시 발생하는 치명적 망각 문제를 해결하기 위해 가중치 공간이 아닌 SAE(Sparse Autoencoders)를 활용한 특징 공간 정규화 방식을 제안합니다. 이 방법은 모델의 다의적 특성을 극복하여 안정성과 가소성 사이의 균형을 맞추며 기존 EWC 방식보다 뛰어난 성능과 메모리 효율을 보여줍니다.
6월 26일0
arXiv논문
CAT-Q: LLM을 위한 비용 효율적이고 정확한 삼진 양자화 (Ternary Quantization)
CAT-Q는 LLM을 효율적으로 압축하기 위한 새로운 사후 훈련 양자화(PTQ) 기법입니다. 기존의 비용이 많이 드는 양자화 인식 훈련 대신, 학습 가능한 변조(LM)와 부드러운 삼진화(ST)를 통해 적은 데이터로도 높은 정확도의 삼진 모델을 생성합니다.
6월 26일0
arXiv논문
SocialPersona: 멀티모달 소셜 미디어 문맥을 통한 개인화된 프로파일링 및 응답 벤치마킹
SocialPersona는 멀티모달 소셜 미디어 데이터를 통해 사용자의 선호도를 추론하고 개인화된 응답을 생성하는 능력을 평가하는 새로운 벤치마크입니다. 텍스트와 이미지를 포함한 장기적 타임라인을 활용하여 MLLM의 개인화 성능을 측정합니다.
6월 26일0
arXiv논문
안전 가드레일에 추론이 필요할까? LeanGuard: 견고한 중재를 위한 빠르고 가벼운 접근 방식
안전 가드레일 구축 시 사고 사슬(CoT)을 통한 추론이 반드시 필요한지에 대해 의문을 제기하는 연구입니다. 경량 양방향 인코더 기반의 LeanGuard는 추론 과정 없이도 기존의 무거운 추론 가드와 대등한 성능을 내며 연산량을 100배 절감합니다.
6월 26일0
arXiv논문
논리적 형태를 넘어: 오류 분류를 위한 LLM 추출 패턴
논리적 오류를 효과적으로 분류하기 위해 문맥적 언어 단서와 추상적 논리 구조를 결합하는 연구를 소개합니다. LLM을 활용해 오류 패턴을 귀납적으로 추출하는 프레임워크를 개발하였으며, 실험을 통해 기존 방식보다 뛰어난 성능과 일반화 가능성을 입증했습니다.
6월 26일0