Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
RASFT: 추론을 위한 Rollout-Adaptive 지도 미세 조정 (Supervised Fine-Tuning)
RASFT는 모델의 추론 능력 향상을 위해 전문가의 가이드를 문제 난이도에 따라 동적으로 조정하는 새로운 SFT 프레임워크입니다. 모델이 스스로 올바른 추론을 할 때는 모방을 완화하고, 어려워할 때만 전문가 데이터를 강화하여 과적합을 방지합니다.
6월 8일0
arXiv논문
파운데이션 모델 에이전트의 Sim-to-Real Gap: 통합된 MDP 관점
파운데이션 모델 에이전트가 시뮬레이션과 실제 환경 간의 격차(Sim-to-Real Gap)로 인해 겪는 문제를 MDP 관점에서 분석합니다. 관측, 행동, 전이, 보상의 네 가지 요소를 중심으로 격차를 공식화하고, 이를 해결하기 위한 연구 의제와 도메인 무작위화 등의 솔루션을 제안합니다.
6월 8일0
arXiv논문
MADE: 미세한 평가 통찰력을 위한 다국어 에이전트 진단 엔진을 통한 점수 산출 그 이상의 가치
MADE는 다국어 및 다문화 LLM 평가 시 단순 점수 산출을 넘어 미세한 진단 통찰력을 제공하는 에이전트 엔진입니다. 계획, 분석, 사례 조사, 성찰, 보고서 합성의 5단계 프로세스를 통해 기존 베이스라인보다 월등한 진단 품질을 보여줍니다.
6월 8일0
arXiv논문
루브릭을 넘어: 보상 모델링(Reward Modeling)을 위한 탐색 가이드 기반 평가 기술
정답이 없는 개방형 보상 모델링을 위해 재사용 가능한 평가 기술을 합성하는 Eval-Skill을 소개합니다. 루브릭 생성 대신 컨텍스트 진화 방식을 사용하여 추론 오버헤드를 줄이고 다양한 LLM 판사의 성능을 크게 향상시켰습니다.
6월 8일0
arXiv논문
Raw Waveform 음향 모델의 음성학적 오류 분석
TIMIT 데이터셋을 활용하여 Raw Waveform 음향 모델의 음소 오류율(PER)과 오류 패턴을 심층 분석한 연구입니다. SincNet과 Bidirectional LSTM을 결합한 모델이 최고 성능을 기록했으며, 전이 학습이 자음 개선에 미치는 효과를 규명했습니다.
6월 8일0
arXiv논문
TRACE: LLM 에이전트를 위한 적응형 교차 단계 증거 집계 기반 궤적 추론 (Trajectory Reasoning through
LLM 에이전트의 숨겨진 악의적 목표를 탐지하기 위한 새로운 모니터링 프레임워크인 TRACE를 제안합니다. TIJ(Triage-Inspect-Judge) 루프를 통해 긴 호흡의 궤적 내에서 흩어진 증거를 연결하여 정밀한 추론을 수행합니다.
6월 8일0
arXiv논문
의미 속의 순서, 순서 속의 의미: 키프레이즈 평가를 위한 의미론적 R-precision
자동 생성된 키프레이즈의 품질을 평가하기 위해 순위 인지형 R-precision에 의미론적 유사성을 통합한 SemR-p 지표를 제안합니다. 이 지표는 인간의 판단 방식과 유사하게 출력 리스트 상단의 관련 키프레이즈에 가산점을 부여하여 평가의 정확도를 높입니다.
6월 8일0
arXiv논문
자기 주도 읽기(Self-paced reading)에서의 의미론적 연관성 모델링: 언어 모델 임베딩을 활용하여
언어 모델(LM) 임베딩을 활용하여 자기 주도 읽기 과정에서의 의미론적 연관성을 정량화하는 연구입니다. 다양한 임베딩 구현 방식이 N400 뇌파 반응과 읽기 시간에 미치는 영향을 분석하여 방법론적 선택의 중요성을 입증했습니다.
6월 8일0
arXiv논문
mmPISA-bench: LLM은 43개 언어 전반에서 동일하게 잘 추론하는가?
43개 언어를 대상으로 LLM의 다국어 추론 능력을 평가하는 새로운 벤치마크인 mmPISA-bench를 소개합니다. 연구 결과, 현대 LLM은 인간 수준의 정확도를 보이며 기계 번역 데이터도 평가에 유효함을 확인했습니다.
6월 8일0
arXiv논문
SigmaScale: SVD 기반 저계수 분해(Low-Rank Decomposition) 및 학습된 스케일링 행렬을 이용한 LLM 압축
SigmaScale은 SVD 기반의 LLM 압축을 위해 보조 스케일링 행렬을 학습하는 새로운 방법론을 제안합니다. 활성화 인지 손실 함수를 통해 가중치 행렬의 유효 내재적 계수를 낮춤으로써, Llama 3.1 및 Qwen 모델에서 SOTA 수준의 압축 성능을 입증했습니다.
6월 8일0
arXiv논문
스타일인가 콘텐츠인가? 통제된 콘텐츠 중첩을 통한 스타일 분류기 평가
스타일 분류기가 스타일 레이블 대신 콘텐츠 단서에 의존하는 문제를 측정하기 위한 새로운 평가 방법론을 제안합니다. 성경 번역 데이터를 활용한 통제된 콘텐츠 중첩 설정을 통해 스타일 학습과 콘텐츠 지름길을 분리하는 진단 도구를 제시합니다.
6월 8일0
arXiv논문
OffQ: 오프세팅(Offsetting)을 통한 LLM 양자화에서의 구조적 이상치(Structured Outliers) 제어
OffQ는 저비트 양자화 시 발생하는 활성화 이상치 문제를 해결하기 위한 새로운 오프세팅 메커니즘을 제안합니다. PCA를 통해 이상치를 특정 채널로 집중시킨 후 공유된 오프셋으로 흡수하여, 모델의 정확도를 유지하면서 효율적인 W4A4KV4 양자화를 가능하게 합니다.
6월 8일0
arXiv논문
구조화된 인라인 인용 생성을 통한 명시적 증거 근거 제시 (Explicit Evidence Grounding via Structured
FullCite는 각 주장을 소스 문서 및 증거와 연결하는 구조화된 인라인 인용 생성 프레임워크를 제안합니다. 프롬프트 기반 생성, 제약된 디코딩, 사후 스팬 정렬 전략을 통해 인용의 정확성과 충실성을 높이는 연구를 다룹니다.
6월 8일0
arXiv논문
인구통계학적 조건부 융합 임베딩을 통한 관점주의적 사회적 의미 학습
본 연구는 주석가의 인구통계학적 특성에 따라 달라지는 언어의 사회적 의미를 포착하기 위한 융합 임베딩 방식을 제안합니다. 28,000개의 데이터를 활용해 관점주의적 스펙트럼을 모델링하며, 기존 텍스트 전용 모델 대비 성능 향상을 입증했습니다.
6월 8일0
arXiv논문
UrduMMLU: 우르두어 언어 이해를 위한 대규모 멀티태스크 벤치마크
우르두어 사용자를 위한 대규모 멀티태스크 벤치마크인 UrduMMLU를 소개합니다. 26개 과목과 26,431개의 문제를 포함하며, 기존 번역 방식이 아닌 현지 교육 자료를 기반으로 구축되었습니다. 30개의 LLM을 평가한 결과, Gemini-1.5-Flash가 가장 높은 성능을 보였습니다.
6월 8일0
arXiv논문
텍스트 감독(Textual Supervision)이 Vision-Language Models의 지리공간 표현(Geospatial
본 연구는 ViT, CLIP, LLaVA, Qwen, Gemma 등 다양한 모델의 지리공간 표현 능력을 분석합니다. 텍스트 감독(textual supervision)이 지리공간 이해와 공간 정확도를 향상시키는 핵심 요소임을 입증하며 멀티모달 학습의 중요성을 강조합니다.
6월 8일0
arXiv논문
의미 공간의 기하학: 이산 모델과 연속 모델의 비교 연구
본 연구는 NLP 모델의 의미론적 기하학을 조사하며, Transformer 기반 임베딩과 어휘 공기 그래프를 비교 분석합니다. 실험 결과 두 방식은 국소적 위상은 유사하나 전체적인 구조에서 큰 차이를 보이며, 두 모델의 상호 보완적 활용 가능성을 제시합니다.
6월 8일0
arXiv논문
HKVM-RAG: 멀티홉 RAG를 위한 키-값 분리형 하이퍼그래프 증거 조직화
멀티홉 RAG의 성능 향상을 위해 키-값 분리형 하이퍼그래프 구조인 HKVM-RAG를 제안합니다. 이 방식은 증거 튜플을 하이퍼엣지로 조립하여 검색 키로 활용하며, 기존 밀집 검색 방식의 한계를 극복하는 증거 제어 신호로 기능합니다.
6월 8일0
arXiv논문
정확성에서 유용성으로: LLM 추론을 위한 이득 기반 접두사 평가 (Gain-Based Prefix Evaluation)
기존의 단계별 정확성 중심 평가에서 벗어나, 추론 접두사가 최종 문제 해결 확률을 얼마나 높이는지 측정하는 '접두사 이득(prefix gain)' 개념을 제안합니다. 이를 통해 학습된 PUM 모델은 수학적 추론 및 강화학습 과정에서 강력한 감독 신호를 제공합니다.
6월 8일0
arXiv논문
DEFINED: 토론 시나리오에서의 미세한 창의성 평가를 위한 데이터 효율적 계산 프레임워크
토론 시나리오에서 LLM의 창의성을 미세하게 평가하기 위한 데이터 효율적 프레임워크 DEFINED를 제안합니다. 계층적 8차원 지표와 혼합 입도 학습 전략을 통해 기존 방식보다 정확하고 안정적인 자동 채점 성능을 입증했습니다.
6월 8일0