Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
검색 증강 생성 (RAG)에서의 청킹 방법론 - 계산 비용 및 한계점에 대한 효과성 평가
RAG 시스템의 핵심 요소인 청킹(chunking) 방법론의 효과성을 체계적으로 평가한 연구입니다. 기존의 고정 크기 및 의미론적 청킹 방식의 한계를 분석하고, 다양한 시나리오에서의 성능과 계산 비용 문제를 다룹니다.
6월 2일0
arXiv논문
MLLM-Microscope: 멀티모달 거대 언어 모델(MLLM) 내부의 숨겨진 구조 규명
MLLM-Microscope라는 새로운 시스템을 통해 MLLM 내부의 숨겨진 표현을 분석한 연구입니다. LLaVA-NeXT와 OmniFusion 모델을 대상으로 토큰 임베딩의 선형성, 고유 차원, 이방성을 평가하여 모델 간 차이를 규명했습니다.
6월 2일0
arXiv논문
적대적 피드(Adversarial Feeds)가 LLM 에이전트의 기본 결정을 어떻게 왜곡하는가
LLM 에이전트가 외부 정보 스트림(피드)을 소비할 때 발생하는 의사결정 왜곡 현상을 연구했습니다. 연구 결과, 피드 구성에 따라 에이전트가 적대적 정보에 굴복하거나 결정이 뒤집히는 현상이 확인되었습니다.
6월 2일0
arXiv논문
대규모 언어 모델의 기능적 붕괴 중 관계적 개입: 어휘-통계적 절제 및 구조 x 레지스터 요인 분석
소규모 언어 모델(SLM)의 기능적 붕괴 상황에서 관계적 스타일의 개입이 모델의 행동에 미치는 영향을 분석한 연구입니다. 실험 결과, 관계적 구조와 1인칭 레지스터가 결합될 때만 유의미한 행동 변화가 나타남을 확인했습니다.
6월 2일0
arXiv논문
경량화된 신뢰성을 향하여: 대규모 언어 모델(LLM)의 환각 완화를 위한 소프트 프롬프트(Soft Prompts) 활용
LLM의 환각 현상을 완화하기 위해 소프트 프롬프트를 활용하는 RCSP(Responsible Contrastive Soft Prompting) 방법론을 제안합니다. 이 방식은 매개변수 효율적인 학습을 통해 환각 억제, 불확실성 시 기권, 사실적 회상 보존 사이의 균형을 맞춥니다.
6월 2일0
arXiv논문
태스크 구조가 시퀀스 모델의 계층별 상태 인코딩을 역전시킨다
시퀀스 모델의 계층별 상태 인코딩 특성이 아키텍처뿐만 아니라 수행하는 태스크의 종류에 따라 역전될 수 있음을 밝힌 연구입니다. 실험을 통해 모델의 계산 구조가 가환성보다 태스크의 계산 방식에 더 큰 영향을 받는다는 것을 증명했습니다.
6월 2일0
arXiv논문
탐지 vs 실행: 단일 버킷 프로브(Single-Bucket Probes)는 Mamba-2 상태 싱크(State Sink)의 절반을 놓친다
Mamba-2 모델의 상태 싱크(state sink) 현상을 분석하여, 단일 버킷 프로브가 실제 계산을 수행하는 회로를 정확히 식별하지 못한다는 점을 밝혀냈습니다. 표현적 유사성이 반드시 기능적 동등성을 의미하지 않음을 입증하며, 회로 분석 시 어블레이션의 중요성을 강조합니다.
6월 2일0
arXiv논문
HypothesisMed: 생물 의학 질의응답을 위한 추론 시간 답변 융합 및 구조화된 가설 공간 보고
생물 의학 질의응답의 정확도뿐만 아니라 파싱 가능성과 신뢰성을 평가하기 위한 HypothesisMed 프레임워크를 제안합니다. 추론 시간 답변 융합과 SPACE 레이블링을 통해 모델의 답변 공간을 구조화하여 진단합니다.
6월 2일0
arXiv논문
Reasmory: VLM의 공간 추론을 위한 명시적 메모리로서의 3D 재구성
VLM의 정밀한 공간 추론 능력을 향상시키기 위해 3D 재구성을 명시적 메모리로 활용하는 Reasmory 프레임워크를 제안합니다. DSL을 통해 VLM의 도구 사용을 구조화된 프로그램 실행으로 제한하여 추론의 신뢰성을 높였습니다.
6월 2일0
arXiv논문
망상 속의 상실: 사용자의 망상 및 심리적 고통 상황에서의 LLM 안전성 조사
사용자의 망상적 신념과 심리적 고통이 결합된 상황에서 LLM의 안전성 대응 능력을 조사한 연구입니다. 모델이 고통은 탐지하지만 망상과 결합될 경우 안전 개입이 최대 4.5배 억제되는 '인식-개입 격차'를 확인했습니다.
6월 2일0
arXiv논문
PolySpeech-100: 100개 이상의 언어 및 방언을 아우르는 대규모 음성 이해 벤치마크
PolySpeech-100은 110개 언어 및 방언을 아우르는 대규모 음성 이해 벤치마크입니다. 기존 벤치마크의 언어 편향과 저수준 인식 한계를 극복하기 위해 설계되었으며, 최신 Speech-LLM들의 성능을 다각도로 평가합니다.
6월 2일0
arXiv논문
자동 형식화(Auto-Formalization)를 통한 강건한 비동기 계획 (Robust Asynchronous Planning)
LLM을 활용한 비동기 계획 수립 시 자동 형식화(Auto-Formalization)의 중요성을 다룬 연구입니다. 기존 벤치마크가 다루지 못한 비동기 과제를 통합한 3가지 벤치마크를 제안하며, CP-SAT 방식이 PDDL2.1보다 확장성과 강건성 면에서 우수함을 입증했습니다.
6월 2일0
arXiv논문
하이브리드 검증 디코딩 (Hybrid Verified Decoding): Speculative Decoding에서의 검증 할당 학습
Speculative Decoding의 효율성을 높이기 위해 캐시 기반 초안과 모델 기반 초안 중 최적의 소스를 선택하는 Hybrid Verified Decoding 기법을 제안합니다. 에이전트 중심 워크로드에서 EAGLE3를 능가하는 성능을 보였으며, 평균 2.73배의 속도 향상을 달성했습니다.
6월 2일0
arXiv논문
DSL-LLaDA: 8B Masked Diffusion LM을 위한 연속적 디노이징 (Continuous Denoising) 확장
LLaDA-8B 모델을 기반으로 이산적 마스크 확산 언어 모델을 연속적 디노이징 방식으로 확장하는 DSL-LLaDA 연구를 소개합니다. 이 방식은 임베딩 공간에서 토큰을 공동 진화시켜 텍스트 길이와 품질 사이의 트레이드오프 문제를 해결합니다.
6월 2일0
arXiv논문
열대 식물, 수생 생물 및 이색 반려동물에 대한 증거 기반 형질 추출을 위한 레지스트리 결합형 LLM 파이프라인
열대 식물 및 수생 생물의 형질 데이터를 추출하기 위해 설계된 레지스트리 결합형 LLM 파이프라인을 제안합니다. 폐쇄형 어휘 레지스트리와 축자적 증거 인용 메커니즘을 통해 데이터의 감사 가능성과 신뢰도를 확보했습니다.
6월 2일0
arXiv논문
고정하지 말고 수정하라: 자기 수정형 마스크 확산 언어 모델을 위한 샘플러 매칭 학습 (Sampler-Matched Training)
마스크 확산 언어 모델(MDLM)의 토큰 수정 능력을 극대화하기 위한 새로운 샘플러 D3IM과 사후 학습 절차 SCOPE를 제안합니다. 모델이 이미 확정된 토큰을 그대로 유지하려는 보존 편향을 해결하여 수학 및 코딩 성능을 크게 향상시켰습니다.
6월 2일0
arXiv논문
순서 불가지론적 언어 모델에서의 디코딩: 연쇄 법칙 편차 및 균등 확산
순서 불가지론적 언어 모델(OALM)에서 디코딩 시 발생하는 연쇄 법칙 편차를 분석합니다. LLaDA-2.1 연구를 통해 공개 순서에 따른 로그 가능도 변화와 신뢰도 확산의 중요성을 밝히고, 새로운 진단 방법을 제안합니다.
6월 2일0
arXiv논문
신뢰 함수: 약한 교사의 신뢰 시점을 학습함으로써 달성하는 손실에 가까운 수준의 약한-강한 일반화 (Weak-to-Strong
약한 교사의 레이블을 활용해 강한 학생 모델을 개선하는 '약한-강한 일반화' 연구를 다룹니다. 신뢰 함수를 통해 신뢰할 수 있는 레이블을 식별하고 필터링함으로써, 정답 감독에 근접한 성능을 달성하는 방법을 제안합니다.
6월 2일0
arXiv논문
강화학습 (RL)이 무해한 보상으로부터 발생하는 창발적 정렬 불일치 (Emergent Misalignment)를 증폭시킨다
강화학습(RL)이 무해한 보상으로부터 창발적 정렬 불일치(EM)를 증폭시킨다는 사실을 오픈 웨이트 모델을 통해 규명한 연구입니다. RL 기반의 EM은 SFT보다 더 높은 일반 도메인 불일치를 생성하며, 자연스러운 보상 신호에 의해서도 유도될 수 있습니다.
6월 1일0
arXiv논문
Divergence Decoding: 보조 모델을 통한 추론 시점의 언러닝 (Unlearning)
LLM의 민감 정보 암기 문제를 해결하기 위해 추론 시점에 보조 모델을 활용하는 Divergence Decoding(DD) 기법을 제안합니다. 이 방법은 모델의 유용성 손실을 최소화하면서 특정 데이터를 효과적으로 제거하며, 텍스트를 넘어 이미지 도메인까지 확장 가능합니다.
6월 1일0