Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
RedditPersona: Reddit 데이터를 활용한 커뮤니티 조건부 LLM 적응을 위한 모듈형 프레임워크
RedditPersona는 커뮤니티 조건부 언어 모델 적응을 위한 표준화된 모듈형 프레임워크를 제안합니다. Reddit 데이터를 활용해 사용자를 다섯 가지 전략으로 그룹화하고 QLoRA를 통해 어댑터를 학습하며, 식별 가능성과 분포 유사성 사이의 트레이드오프를 분석합니다.
6월 5일0
arXiv논문
다국어 전이 학습 (Multilingual Transfer Learning)을 통한 영어-프라크리트 (English-to-Prakrit) 기계
IndicTrans2 모델을 활용하여 저자원 언어인 영어-프라크리트 기계 번역을 연구했습니다. 별도의 아키텍처 수정 없이 언어 태그 매핑을 통해 다국어 모델을 적응시키는 방법을 제안합니다.
6월 5일0
arXiv논문
IA-RAG: 동적 지식 검색을 위한 구간 대수(Interval-Algebra) 기반 시계열 추론
IA-RAG는 지식을 시간 구간 단위로 모델링하여 시계열 구조를 포착하는 계층적 RAG 프레임워크입니다. Allen의 구간 대수를 활용해 이벤트 간의 지속, 중첩, 포함 관계를 추론하며, 퍼지 구간을 정교화하는 메커니즘을 통해 복잡한 시계열 질의응답 성능을 높였습니다.
6월 5일0
arXiv논문
MDP-GRPO: 다중 제약 조건 지시 이행을 위한 안정화된 그룹 상대 정책 최적화
표준 GRPO의 불안정성을 해결하기 위해 제안된 MDP-GRPO 알고리즘에 관한 연구입니다. 다중 온도 샘플링과 이중 앵커 어드밴티지 등을 통해 보상 분포가 균일한 환경에서도 안정적인 학습을 가능하게 합니다.
6월 5일0
arXiv논문
음성 번역 오류의 자동 레이블링 (Automatic Labelling of Speech Translation Errors)
음성 번역(ST) 시스템의 신뢰도를 높이기 위해 오류를 자동으로 레이블링하는 STEL 방법론을 제안합니다. 어노테이션 프로토콜과 데이터셋을 구축하여 기존 텍스트 전용 및 멀티모달 LLM의 성능을 분석했습니다.
6월 5일0
arXiv논문
멀티태스크 학습은 충분하지 않다: 이중 출력 제2외국어 음성 인식에서의 표현 얽힘 (Representational Entanglement)
제2외국어 음성 인식에서 멀티태스크 학습(MTL)이 의미 전달은 개선하지만 표면 전사 성능을 저하시키는 '표현 얽힘' 문제를 분석합니다. 한국어와 영어의 사례를 통해 인코더 수준의 표현 얽힘이 성능 저하의 원인임을 밝히고 새로운 프레임워크 설계의 필요성을 제시합니다.
6월 5일0
arXiv논문
SkillComposer: 명세화(Specification) 및 일반화(Generalization)를 위한 에이전트 기술 진화 학습법
SkillComposer는 에이전트 기술을 생성, 개선, 병합하는 세 가지 연산을 통해 기술의 명세화와 일반화 문제를 해결하는 프레임워크입니다. 거부 샘플링을 통해 학습된 이 모델은 추론 시점에 에이전트 기술을 스스로 진화시키며 다양한 벤치마크에서 우수한 성능을 입증했습니다.
6월 5일0
arXiv논문
LatentSkill: LLM 에이전트를 위한 인컨텍스트(In-Context) 텍스트 기술에서 가중치 기반(In-Weight) 잠재 기술로의
LatentSkill은 LLM 에이전트의 작업 절차를 텍스트 프롬프트 대신 LoRA 어댑터 형태의 가중치 공간에 저장하는 프레임워크입니다. 이를 통해 컨텍스트 오버헤드를 획기적으로 줄이면서도 모듈화된 기술 활용과 성능 향상을 동시에 달성했습니다.
6월 5일0
arXiv논문
Max@K 정책 경사(Policy Gradients)를 위한 어드밴티지 추정(Advantage Estimates)에 관하여
희소한 보상 문제를 해결하기 위해 Max@K 정책 경사를 최적화하는 새로운 어드밴티지 추정 방식을 제안합니다. L2O(Leave-Two-Out) 베이스라인을 통해 편향되지 않으면서도 정확하게 중심화된 어드밴티지를 계산하여 LLM 사후 학습의 효율성을 높입니다.
6월 5일0
arXiv논문
OrderGrad: 순서 통계량 정책 경사 추정을 통한 평균 이상의 최적화
OrderGrad는 기대 수익 대신 꼬리 위험, 이상치 강건성, Best-of-K 탐색 등 분포적 특성을 최적화하는 새로운 정책 경사 방법론입니다. 순서 통계량 목적 함수를 위해 편향되지 않은 경사 추정기를 제공하며, 기존 알고리즘에 플러그 앤 플레이 방식으로 적용 가능합니다.
6월 5일0
arXiv논문
IR3DE: 대규모 언어 모델(LLM)을 위한 선형 라우터
IR3DE는 다양한 도메인 전문가 LLM 중 프롬프트에 가장 적합한 모델을 저렴하고 빠르게 선택하는 Ridge 회귀 기반의 선형 라우터입니다. 기존 방식과 달리 추가 학습 없이도 새로운 모델을 동적으로 추가하거나 제거할 수 있어 효율적인 LLM 서비스 운영을 지원합니다.
6월 5일0
arXiv논문
CHALIS: 까다로운 시나리오에서의 언어 식별을 위한 도전적 데이터셋
친척 언어와 철자 노이즈 등 까다로운 시나리오를 해결하기 위한 새로운 언어 식별 벤치마크 데이터셋인 CHALIS를 제안합니다. 기존 언어 식별 시스템들이 저자원 언어와 음차된 입력값에서 겪는 한계를 입증하며, 관련 리소스를 Hugging Face에 공개했습니다.
6월 5일0
arXiv논문
엔티티 정렬 (Entity Alignment) 파운데이션 모델을 위한 구조적 컨텍스트 활용
이기종 지식 그래프 간 엔티티 정렬(EA) 성능을 높이기 위해 구조적 컨텍스트를 활용하는 ContextEA 프레임워크를 제안합니다. 앵커 브리지를 통한 교차 그래프 상호작용 인코더와 구조적 보정 디코더를 통해 미학습 KG에 대한 전이 능력을 크게 향상시켰습니다.
6월 5일0
arXiv논문
decoder-only Transformer에서 절대적 위치(Absolute Position)는 어디에서 오는가?
RoPE를 사용하는 Transformer가 상대적 위치 정보만 있음에도 절대적 위치를 인식하는 원인을 분석합니다. 인과적 마스크의 소프트맥스 분모 구조와 잔차 스트림을 통한 위치 0의 활성화 궤적 추적을 주요 원인으로 제시합니다.
6월 5일0
arXiv논문
ProSarc: 시간적 운율 불일치를 통한 운율 인식 비꼬기 인식 프레임워크
ProSarc는 오디오 데이터에서 시간적 운율 불일치를 모델링하여 비꼬기를 탐지하는 새로운 프레임워크입니다. 전역 감정 인코더와 시간적 운율 인코더를 결합하여 비꼬기의 시작점을 국소화하고 높은 성능을 입증했습니다.
6월 5일0
arXiv논문
Ouvia: 실제 통신 시나리오에서 음성 번역(Speech Translation)의 사용성을 측정하기 위한 사용자 중심 프레임워크
음성 번역(ST)의 실제 통신 사용성을 측정하기 위한 사용자 중심 프레임워크인 Ouvia를 제안합니다. 연구 결과, 현대 ST 시스템은 상호작용의 절반 정도만 유효하며 인구 통계적 그룹 간 사용성 격차가 존재함을 확인했습니다.
6월 5일0
arXiv논문
고발하는 규범: Large Language Models의 추론 역학을 위한 신호로서의 $\ell_2$ 크기
LLM의 은닉 상태 $\ell_2$ 노름이 추론 강도를 나타내는 내생적 신호임을 입증한 연구입니다. SAE를 통해 후기 층의 특징 활성화와 노름 사이의 상관관계를 증명하고, 이를 활용한 세 가지 테스트 시간 스케일링 기술을 제안합니다.
6월 5일0
arXiv논문
비지도 단어 발견 (Unsupervised Word Discovery)에서의 어휘 평가 재고
비지도 단어 발견 과정에서 기존의 정규화된 편집 거리 지표가 가진 편향성과 한계를 분석합니다. 클러스터 크기에 따른 편향을 해결하고 실제 클래스 분포를 반영할 수 있는 두 가지 새로운 평가 지표를 제안합니다.
6월 5일0
arXiv논문
메타 러닝 (Meta-Learning)을 통한 암묵적 비용-성능 선호도 기반의 LLM 라우팅 학습
사용자의 암묵적 비용-성능 선호도를 학습하여 개인화된 LLM 라우팅을 수행하는 MetaRouter 프레임워크를 제안합니다. 컨텍스츄얼 밴딧과 메타 러닝을 결합하여 적은 상호작용만으로도 사용자 맞춤형 최적화를 달성합니다.
6월 5일0
arXiv논문
밀집된 컨텍스트는 어려운 컨텍스트이다: 어휘 밀도가 LLM의 유효 컨텍스트에 미치는 제한적 영향
본 연구는 LLM의 긴 컨텍스트 성능 저하를 유발하는 새로운 요인으로 '어휘 밀도(lexical density)'를 제시합니다. 정보 밀도가 높아질수록 모델의 유효 컨텍스트 창이 급격히 감소하며, 검색 성능이 크게 저하됨을 실험을 통해 입증했습니다.
6월 5일0