Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
랭킹을 통한 자기 일관성 (Self-Consistency) 향상
LLM의 자기 일관성(Self-Consistency) 성능을 높이기 위해 답변 선택을 랭킹 문제로 재정의한 RISC 방법론을 제안합니다. LambdaRank 모델을 활용해 답변 빈도와 의미적 중심성 등 5가지 특징을 결합하여 최적의 답변을 도출합니다.
6월 4일0
arXiv논문
빠르고 충실한 함수 벡터 (Fast & Faithful Function Vectors)
본 연구는 인컨텍스트 학습 과정에서 유도되는 함수 벡터(Function Vectors)의 설계 요소를 분석합니다. 어텐션 헤드 선택과 스티어링 방식이 LLM 제어 성능에 미치는 영향을 연구하며, 효율적인 그래디언트 기반 기여도 산출법을 제안합니다.
6월 4일0
arXiv논문
표준화 환자 사례를 통한 역동적 임상 의사결정에서의 대규모 언어 모델(LLM) 평가
임상 에이전트의 역동적인 의사결정 능력을 평가하기 위해 표준화 환자(SP) 개념을 도입한 MedSP1000 벤치마크를 제안합니다. 연구 결과, 기존 정적 벤치마크 성능이 실제 임상 시나리오로 전이되지 않으며 현재 LLM의 의료 현장 적용에는 한계가 있음을 확인했습니다.
6월 4일0
arXiv논문
경가동사(Light Verb)인가 완전동사(Full Verb)인가? 언어 모델의 관용적 역량을 조사하기 위한 최소 쌍(Minimal-Pair)
언어 모델이 경가동사와 완전동사의 용법 차이를 구분할 수 있는지 조사하기 위한 최소 쌍(Minimal-Pair) 데이터셋을 제안합니다. 실험을 통해 모델이 목적어 유형에 따라 두 용법을 구별하는 패턴을 보임을 입증했습니다.
6월 4일0
arXiv논문
자기 평가(Self-Evaluation)는 이미 존재한다: 최소한의 데이터로 Base LLM에서 잠재적 판사 보정(Latent Judge
Base LLM이 별도의 학습 없이도 외부 판사의 평가 점수를 예측할 수 있는 잠재적 능력이 있음을 발견했습니다. 연구팀은 이를 끌어내기 위한 '자기 평가 유도(SEE)' 기법을 제안하여, 최소한의 데이터로도 모델의 평가 예측 성능을 크게 향상시켰습니다.
6월 4일0
arXiv논문
인컨텍스트 러닝 (In-Context Learning)을 위한 활성화 기반 능동 학습 (Active Learning): 과제와 통찰
본 논문은 트랜스포머의 MLP 활성화 값을 활용하여 인컨텍스트 러닝을 위한 샘플을 선택하는 능동 학습 방법론을 분석합니다. Llama-3.2-3B 및 Qwen2.5-3B 모델 실험 결과, 활성화 기반 샘플링이 예시 품질이나 성능과 상관관계가 낮음을 발견했습니다.
6월 4일0
arXiv논문
텍스트 따르기를 넘어서: 오디오-언어 모델(ALM)에서의 복구 가능한 중재 역전 현상
오디오-언어 모델(ALM)이 명확한 오디오 증거가 있음에도 충돌하는 텍스트를 따르는 '중재 역전 현상'을 분석했습니다. 연구 결과, 오디오 정보가 인코딩은 되지만 중재 과정에서 손실됨을 확인하였으며, 이를 해결하기 위한 새로운 디코딩 규칙인 GACL을 제안합니다.
6월 4일0
arXiv논문
STRIDE: 서브셋 섭동(Subset Perturbations)으로부터의 희소 복구(Sparse Recovery)를 통한 학습 데이터
LLM의 학습 데이터 귀속(TDA) 문제를 해결하기 위해 활성화 공간에서 데이터의 효과를 모델링하는 STRIDE 프레임워크를 제안합니다. 기존의 그래디언트 기반 방식보다 10배 빠르며, 압축 센싱을 활용해 개별 데이터의 영향력을 효율적으로 복구합니다.
6월 4일0
arXiv논문
SkillPyramid: 자가 진화 에이전트를 위한 계층적 기술 통합 프레임워크
SkillPyramid는 AI 에이전트가 경험을 재사용 가능한 자산으로 변환할 수 있도록 돕는 계층적 기술 통합 프레임워크입니다. 자가 진화 메커니즘을 통해 새로운 기술을 구성하고 검증하며, 기존의 정적인 기술 풀을 동적인 진화 시스템으로 전환합니다.
6월 3일0
arXiv논문
언어 변화가 의료 시각-언어 모델을 망가뜨리는가? 인도네시아 방사선 시각 질의응답 사례 연구
의료 시각-언어 모델(VLM)이 비영어권 환경에서 보이는 강건성을 평가하기 위해 인도네시아어 방사선 VQA 데이터셋인 IndoRad-VQA를 제안합니다. 연구 결과, 영어와 인도네시아어 간에 8%에서 25%의 성능 격차가 발생함을 확인했습니다.
6월 3일0
arXiv논문
임베딩을 잊지 마세요: 임베딩의 정밀한 편집을 통한 강건한 지식 삭제
언어 모델에서 특정 지식을 안전하게 삭제하기 위해 임베딩 레이어에 개입하는 EMBER 기술을 제안합니다. 희소 행렬 분해를 통해 토큰 임베딩의 개념 관련 특징을 정밀하게 제거하여, 기존 방식보다 재학습에 대한 강건성을 크게 높였습니다.
6월 3일0
arXiv논문
법률 QA의 인용 품질을 위한 귀속 관점에서의 재순위화 (Re-Ranking)
법률 QA 시스템의 RAG 성능 향상을 위해 의미적 유사성 대신 섭동 기반 귀속 점수를 활용한 재순위화(Re-ranking) 기법을 제안합니다. 이 방식은 인용 충실도와 전문가 답변과의 정렬을 개선하며, 모델 불가지론적인 학습 신호를 제공함을 입증했습니다.
6월 3일0
arXiv논문
Entropy Gate: LLM 파이프라인 내 근손실 없는 토큰 압축을 위한 엔트로피 억제 (Entropy Quenching)
Entropy Gate는 LLM의 불필요한 토큰을 제거하여 의미적 충실도를 유지하며 압축하는 새로운 프레임워크입니다. 열역학적 개념인 엔트로피 억제를 활용해 토큰의 정보 에너지를 계산하고, 이를 기반으로 효율적인 컨텍스트 관리를 수행합니다.
6월 3일0
arXiv논문
LLM을 활용한 이주 뉴스 프레임 구성: 인간의 해석을 지원하기 위한 구조화된 CoT
이주 뉴스 프레임 분석을 위해 Llama3-8B와 구조화된 사고 사슬(SCoT) 프롬프팅을 활용하는 연구를 소개합니다. 로컬 오픈 소스 LLM을 통해 데이터 프라이버시와 재현성 문제를 해결하며, 모델의 추론 과정을 투명하게 공개하여 인간의 해석을 지원합니다.
6월 3일0
arXiv논문
HybridThinker: 압축된 메모리와 일시적 사고 단계(Transient Thought Steps)를 통한 효율적인 사고
HybridThinker는 CoT 압축 시 발생하는 정보 손실 문제를 해결하기 위해 압축된 메모리 토큰과 일시적 사고 단계를 병행 사용하는 새로운 연구를 제안합니다. 하이브리드 학습 체계를 통해 모델이 메모리 토큰을 효과적으로 활용하도록 유도하며, 기존 압축 방식 대비 높은 정확도를 달성했습니다.
6월 3일0
arXiv논문
KletterMix: 고품질 독일어 사전 학습 데이터(Pretraining Data)를 향한 도약
KletterMix는 고품질 독일어 언어 모델 학습을 위해 설계된 사전 학습 및 어닐링용 코퍼스입니다. 최첨단 영어 데이터셋을 독일어로 번역하여 구축되었으며, 문서의 구조와 주제적 다양성을 유지하면서도 원본과의 비교가 가능하도록 설계되었습니다.
6월 3일0
arXiv논문
희소 MoE 언어 모델의 사실적 회상에 대한 전문가 인지적 인과적 추적 (Expert-Aware Causal Tracing)
희소 MoE 모델에서 사실적 회상이 발생하는 메커니즘을 분석하기 위해 '전문가 인지적 인과적 추적' 방법론을 제안합니다. Qwen 및 Mixtral 모델 실험을 통해 특정 전문가가 정보 국지화에 기여하거나 다수 전문가의 연합이 필요함을 입증했습니다.
6월 3일0
arXiv논문
문법을 통한 추론: 합성된 언어적 추론 흔적(Reasoning Traces)이 저자원 기계 번역을 향상시킬 수 있는가?
LLM을 활용한 저자원 언어 기계 번역 성능 향상을 위해 문법적 추론 흔적(Reasoning Traces)을 활용하는 연구를 제안합니다. 실험 결과, 추론 시 가이드로 활용하는 것이 학습 데이터로 사용하는 것보다 번역 성능 향상에 더 효과적임을 확인했습니다.
6월 3일0
arXiv논문
백도어 언러닝 일반화: LLM 내 미지의 트리거 제거를 향한 경로
LLM 내 미지의 백도어 공격을 방어하기 위해 언러닝(unlearning)의 일반화 가능성을 연구합니다. 특정 트리거를 제거하는 것만으로도 명시적으로 타겟팅되지 않은 다른 백도어까지 억제할 수 있음을 입증했습니다.
6월 3일0
arXiv논문
다국어 멀티모달 거대 언어 모델(Multimodal Large Language Models)에서의 적대적 강건성 및 안전 정렬(Safety
본 연구는 다국어 멀티모달 거대 언어 모델(MLLM)의 적대적 강건성과 안전 정렬을 체계적으로 분석합니다. 12개 언어를 대상으로 실험한 결과, 공격의 교차 언어 전이성과 저자원 언어에서 발생하는 '실패에 의한 안전(safety-by-failure)' 현상을 규명했습니다.
6월 3일0