Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1795건필터 해제
arXiv논문
Randomized YaRN은 긴 문맥 추론을 위한 길이 일반화(Length Generalization)를 개선한다
Randomized YaRN은 무작위 위치 인코딩과 길이 커리큘럼을 결합하여 LLM의 긴 문맥 추론 성능을 개선하는 새로운 학습 방법을 제안합니다. 짧은 문맥 데이터로 학습할 때 모델이 더 넓은 위치 범위에 노출되도록 하여, 학습 시보다 훨씬 긴 문맥에서도 뛰어난 일반화 성능을 보여줍니다.
6월 23일0
arXiv논문
PeerCheck: LLM 생성 학술 리뷰를 인간 수준의 품질로 향상시키기
LLM이 생성한 학술 리뷰의 품질을 인간 수준으로 높이기 위한 PeerCheck 프레임워크를 제안합니다. CoT와 RAG를 활용해 리뷰 품질을 개선하는 과정을 탐구하며, RAG가 오히려 품질을 저하시킬 수 있는 'RAG 역설'을 발견했습니다.
6월 23일0
arXiv논문
제약된 증거 선택을 통한 주제-타임스탬프 정렬
회의 기록 검색 시 주제와 타임스탬프를 정확히 정렬하기 위한 새로운 연구를 소개합니다. LLM이 임의의 시간을 생성하는 대신, 검색된 후보군 중에서 최적의 시간을 선택하는 '제약된 후보 선택' 방식을 통해 정확도를 높였습니다.
6월 23일0
arXiv논문
인식적 정확성의 토큰 세금: 문서 기반 생성형 AI 애플리케이션을 위한 RAG와 Long-Context 아키텍처 비교
문서 기반 AI 어시스턴트를 위한 RAG와 Long-Context 아키텍처의 성능 및 비용 효율성을 비교 분석합니다. 롱 컨텍스트 방식이 정확도는 높지만, 토큰 소비로 인한 비용 부담이 매우 크다는 '토큰 세금' 개념을 제시합니다.
6월 23일0
arXiv논문
Storyline Trees: 긴 서사(Long-Form Narratives)를 위한 계층적 표현
긴 서사 구조를 효과적으로 처리하기 위해 계층적 표현 방식인 'Storyline Trees'를 제안합니다. 챕터를 장면 단위로 분할하고 상하향식 절차를 통해 트리를 구축하여, 긴 문맥 모델의 질의응답 성능을 높이는 적응형 검색을 가능하게 합니다.
6월 23일0
arXiv논문
잠재적 개인 메모리 (Latent Personal Memory): 개인의 메모리를 동적인 소프트 프롬프트 (soft prompts)로 표현하기
사용자의 장기적 행동 패턴을 동적인 소프트 프롬프트로 인코딩하는 '잠재적 개인 메모리(LPM)' 프레임워크를 제안합니다. 동결된 LLM을 유지하면서도 LoRA나 프롬프트 튜닝보다 높은 효율성과 성능을 보여줍니다.
6월 23일0
arXiv논문
토큰 수준에서의 Transformer와 하이브리드 모델 비교
Transformer와 순환 레이어를 결합한 하이브리드 언어 모델의 성능 이득을 토큰 수준에서 분석한 연구입니다. Olmo 3와 Olmo Hybrid 모델을 통해 하이브리드 모델이 의미론적 상태 추적에는 유리하지만, 특정 구문론적 작업에서는 Transformer가 더 우세함을 밝혀냈습니다.
6월 23일0
arXiv논문
LLM 내부 들여다보기: 법률 분류의 신뢰성 향상을 위한 LLM 내부 아티팩트(Internal Artifacts) 활용
법률 분야에서 LLM의 환각 현상을 방지하기 위해 모델 내부 아티팩트를 활용하는 연구를 소개합니다. 내부 특징을 추출하여 부정확한 출력을 식별하는 분류기를 구축함으로써 법률 분류 작업의 신뢰성을 높이는 방법을 제안합니다.
6월 23일0
arXiv논문
무엇을 잊지 말아야 할지 배우기: 단 몇 킬로바이트의 학습을 통한 장기적 에이전트 메모리 (Long-Horizon Agent Memory)
장기 실행되는 LLM 에이전트의 컨텍스트 관리를 위해 학습된 관련성 제거(LRE) 방식을 제안합니다. LRE는 CPU 기반의 가벼운 스코어러를 통해 핵심 정보를 유지하며, 컨텍스트 크기를 최대 52% 줄이면서도 높은 정확도를 유지합니다.
6월 23일0
arXiv논문
3D 시각적 접지 (3D Visual Grounding)를 위한 다양한 언어 생성 스케일링
3D 시각적 접지(3DVG) 성능 향상을 위해 씬 그래프 제약 조건과 LLM의 언어 생성을 결합한 ViGiL3D++ 방법론을 제안합니다. 이 방식은 데이터의 다양성을 확보하여 모델의 일반화 능력을 높이고 기존 VLM의 한계를 규명합니다.
6월 23일0
arXiv논문
가치 벤치마크를 넘어: 대칭적 Q-Sort를 통한 대규모 언어 모델(LLM)의 가치-구조 정렬 측정
기존의 항목별 평가 방식을 넘어, LLM이 도덕적 가치를 구조적으로 어떻게 우선순위화하는지 측정하는 '대칭적 Q-Sort' 프레임워크를 제안합니다. Q 방법론을 통해 인간과 모델의 가치 구조 정렬을 정량화하여 모델 간의 이질성과 국지적 불일치를 분석합니다.
6월 23일0
arXiv논문
CapRiCorn-1K: 다양한 시간적 규모에 걸친 비디오 캡셔닝 및 피사체 참조 일관성을 위한 종합 벤치마크
비디오 캡셔닝 모델의 품질과 피사체 참조 일관성을 평가하기 위한 새로운 벤치마크인 CapRiCorn-1K를 제안합니다. 긴 영상과 다양한 도메인을 포함하며, 시청각 및 시각 전용 설정을 모두 지원하여 모델의 한계를 정밀하게 측정합니다.
6월 23일0
arXiv논문
다국어 모델은 실제로 개선되고 있는가? 진정한 교차 언어 전이(Cross-Lingual Transfer)의 격리
다국어 모델의 교차 언어 전이 능력을 정확히 측정하기 위한 새로운 지표인 HAT(Hardness Adjusted Transfer) 점수를 제안합니다. 20개의 모델과 주요 벤치마크 분석을 통해 모델 크기 및 시간에 따른 전이 성능의 변화를 규명합니다.
6월 23일0
arXiv논문
OpenBioRQ: 에이전트를 위한 미해결 생물 의학 연구 질문들
에이전트 모델의 인용 정확도와 생물 의학적 추론 능력을 검증하기 위한 새로운 벤치마크인 OpenBioRQ를 소개합니다. 12,553개의 미해결 질문을 통해 모델의 충실도와 도구 사용 능력을 평가하며, 기존 모델들의 한계와 에이전트 붕괴 현상을 분석합니다.
6월 23일0
arXiv논문
줌(Zoom)하기 전에 살펴보기: Visual RAG의 해상도-컨텍스트 트레이드오프를 위한 적응형 라우팅 (Adaptive Routing
시각-언어 모델(VLM)의 해상도와 컨텍스트 간 트레이드오프 문제를 해결하기 위한 경량 프레임워크 ViRGo를 제안합니다. 객체 크기에 따라 전역 인지, 패치 기반 검색, 어텐션 기반 검색 중 최적의 방식을 선택하는 적응형 라우팅을 통해 정확도와 효율성을 동시에 개선합니다.
6월 23일0
arXiv논문
전이중(Full-Duplex) 음성 대화 시스템에 얼굴 생성 통합하기
Moshi-Face는 기존의 전이중 음성 모델에 얼굴 생성 기능을 통합한 최초의 모델입니다. VQ-VAE 기반의 페이스 코덱과 Face Transformer를 사용하여 실시간으로 동기화된 오디오와 얼굴 움직임을 생성합니다.
6월 23일0
arXiv논문
LLM은 가독성을 제어할 수 있는가? CEFR 제어 아랍어 생성을 위한 다차원 평가 프레임워크
LLM의 아랍어 가독성 제어 능력을 평가하기 위한 다차원 프레임워크를 제안합니다. CEFR 기준에 맞춘 텍스트 생성을 위해 제어된 프롬프팅과 어휘 제약 검증을 활용하며, 구조화된 프롬프팅이 가독성 정렬에 효과적임을 입증했습니다.
6월 23일0
arXiv논문
고성능 다국어 ASR에 강력한 코드 스위칭 (Code-switching) 능력 추가하기
다국어 ASR 시스템에서 코드 스위칭(Code-switching) 성능을 높이면서 기존 단일 언어 성능을 유지하는 연구를 소개합니다. 베이지안 인수 분해 적응 방식을 통해 소량의 합성 데이터만으로도 효율적인 지식 통합이 가능함을 입증했습니다.
6월 23일0
arXiv논문
음소-자소 변환(G2P)을 위한 대규모 언어 모델(LLM) 벤치마킹: 일본어 사례 연구
일본어 음소-자소 변환(G2P) 성능 향상을 위해 30개 이상의 LLM을 벤치마킹한 연구입니다. 파싱 모드와 직접 모드 전략을 비교한 결과, 규칙 기반 후처리를 결합한 파싱 모드가 더 우수한 성능을 보였습니다.
6월 23일0
arXiv논문
Nous: 장기 에이전트 메모리를 위한 예측적 세계 모델 (Predictive World Model)
Nous는 지식을 저장하는 대신 예측적 세계 모델을 통해 유지하는 새로운 에이전트 메모리 아키텍처입니다. 베이지안 사후 확률 업데이트를 통해 엔티티의 속성을 관리하며, 외부 데이터베이스 없이도 장기 대화 메모리 벤치마크에서 우수한 성능을 입증했습니다.
6월 23일0