Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1795건필터 해제
arXiv논문
Dango: 제2언어 습득 (SLA) 연구를 위한 엄격한 L1 전용 대규모 언어 모델 (LLM)
제2언어 습득(SLA) 연구를 위해 설계된 1.8B 규모의 L1 전용 LLM인 Dango를 소개합니다. L1 사전 학습 데이터 내 L2 오염 문제를 해결하기 위한 필터링 기법을 제안하며, 인간과 유사한 L2 생성 패턴을 구현했습니다.
6월 18일0
arXiv논문
DreamReasoner-8B: 확산 추론 모델을 위한 블록 크기 커리큘럼 학습 (Block-Size Curriculum Learning)
블록 확산 언어 모델의 CoT 추론 성능을 높이기 위해 DreamReasoner-8B를 개발하고 블록 크기 커리큘럼 학습을 제안합니다. 작은 블록에서 큰 블록으로 점진적으로 전환하는 학습 방식을 통해 수학 및 코드 추론 성능을 극대화했습니다.
6월 18일0
arXiv논문
Multi-Agent Fictitious Play를 통한 대규모 언어 모델의 의사결정 능력 향상
다중 에이전트 시스템(MAS)에서 발생하는 '관점 얽힘' 문제를 해결하기 위해 게임 이론 기반의 Multi-Agent Fictitious Play(MAFP)를 제안합니다. MAFP는 에이전트들이 상대의 과거 결정에 최적 대응하며 의사결정의 품질과 강건성을 높이는 새로운 패러다임입니다.
6월 18일0
arXiv논문
의료용 LLM 적응의 트레이드오프: 프랑스어 질의응답(QA)에 대한 실증적 연구
프랑스어 의료 질의응답(QA)을 사례로 도메인 적응 전략인 CPT, SFT 및 이들의 조합 효과를 비교 분석한 연구입니다. 모델 크기와 초기화 유형에 따른 성능 차이를 검증하며, 자원 제약 상황에서의 실질적인 적응 가이드라인을 제시합니다.
6월 18일0
arXiv논문
보상 감독에 대한 재고: 루브릭 조건부 자기 증류 (Rubric-Conditioned Self-Distillation)
추론 언어 모델의 사후 학습 시 발생하는 노이즈와 스칼라 보상의 모호성을 해결하기 위한 '루브릭 조건부 자기 증류' 프레임워크를 제안합니다. 루브릭을 구조화된 피드백으로 활용하여 학생 모델이 스스로 샘플링한 궤적에 대해 토큰 수준의 정밀한 가이드를 제공합니다.
6월 18일0
arXiv논문
LOCUS를 통한 법률의 자유화: 미국 지방 조례 코퍼스 (A Local Ordinance Corpus for the United States)
미국 지방 조례를 포괄적으로 다루는 기계 판독 가능 코퍼스인 LOCUS를 소개합니다. 9,239개 시 및 카운티의 법전을 포함하며, OCR 기술을 통해 파편화된 법률 데이터를 통합하여 법률 AI 연구를 지원합니다.
6월 18일0
arXiv논문
옴니모달 이해를 위한 추론으로서의 네이티브 능동적 지각 (Native Active Perception)
비디오 이해를 위해 POMDP 기반의 '관찰-사고-행동' 사이클을 사용하는 네이티브 옴니모달 에이전트 OmniAgent를 제안합니다. 이 모델은 필요한 정보만 선택적으로 추출하여 계산 비용을 줄이며, 테스트 시간 스케일링을 통해 성능을 향상시킵니다.
6월 18일0
arXiv논문
Large Language Gibbs를 이용한 구조적 추론
LLM의 조건부 분포를 전이 연산자로 활용하여 구조적 확률 추론을 수행하는 Large Language Gibbs 체계를 제안합니다. 단일 패스 생성 방식의 순서 의존적 편향을 극복하고, 반복적인 재샘플링을 통해 일관된 정지 분포를 생성하는 것이 특징입니다.
6월 18일0
arXiv논문
Turing Rewards를 이용한 사용자 시뮬레이터 학습
사용자 시뮬레이터를 효과적으로 학습시키기 위해 튜링 테스트 기반의 강화학습 방식인 Turing-RL을 제안합니다. 기존의 응답 매칭 방식 대신 LLM 판사를 활용해 실제 사용자와의 구별 불가능성을 최적화하여 성능을 높였습니다.
6월 18일0
arXiv논문
문맥 제한적 Semi-hard Negative Mining을 통한 암시적 혐오 표현 일반화 성능 향상을 위한 암시적 진술 정렬
암시적 혐오 표현 탐지의 성능을 높이기 위해 문맥 제한적 Semi-hard Negative Mining을 활용한 ImpSH 프레임워크를 제안합니다. 이 방식은 게시물을 암시적 진술과 정렬하여 도메인 변화에도 안정적인 분류 성능을 제공합니다.
6월 18일0
arXiv논문
멀티모달 감정-원인 쌍 추출을 위한 강건한 쌍 신뢰도 학습
멀티모달 감정-원인 쌍 추출(MECPE)의 신뢰도 문제를 해결하기 위한 RPCL 프레임워크를 제안합니다. 정답 쌍과 어려운 부정 사례 간의 신뢰도 격차를 확보하여 모델의 판별력과 안정성을 높였습니다.
6월 18일0
arXiv논문
언러닝(Unlearning)을 통한 공정한 경도 인지 장애 탐지
경도 인지 장애(MCI) 탐지 모델이 인구통계학적 편향을 학습하는 문제를 해결하기 위해 언러닝(Unlearning) 기술을 적용한 멀티모달 프레임워크를 제안합니다. 그래디언트 리버설을 통해 성별 및 언어와 같은 불필요한 속성을 제거함으로써 하위 그룹 간 성능 격차를 줄이고 강건한 표현 학습을 달성했습니다.
6월 18일0
arXiv논문
중국어 방언을 향한 음성 기반 엔드투엔드 (End-to-End) 언어 식별
중국어 방언 식별을 위해 텍스트 대신 음성 기반 특징을 활용하는 엔드투엔드 모델을 제안합니다. CNN과 HMM-DNN, 어텐션 메커니즘을 결합하여 미세한 방언 차이를 효과적으로 구분함을 입증했습니다.
6월 18일0
arXiv논문
로컬 및 글로벌 어텐션을 위한 이중 차원성 (Dual Dimensionality for Local and Global Attention)
로컬 토큰과 먼 토큰의 표현 요구량이 다르다는 가설을 바탕으로 거리 적응형 표현(DAR) 기술을 제안합니다. 로컬 컨텍스트는 전체 차원을 유지하고 먼 토큰은 차원을 축소하여, 성능 저하 없이 KV 캐시 효율성을 높이는 연구입니다.
6월 18일0
arXiv논문
전이 학습 (Transfer learning) 및 데이터 증강 (Data Augmentation)을 이용한 저자원 언어 중국어 방언 판별
저자원 환경에서의 중국어 방언 판별을 위해 전이 학습과 데이터 증강을 결합한 새로운 프레임워크(CDDTLDA)를 제안합니다. 소스 측 ASR 모델을 활용하고 셀프 어텐션 메커니즘으로 공통 의미 특징을 포착하여 성능을 극대화했습니다.
6월 18일0
arXiv논문
보상 모델의 조종 가능한 문화적 선호도 최적화 (Steerable Cultural Preference Optimization of Reward
다양한 문화적 하위 공동체의 선호도를 반영할 수 있는 새로운 보상 모델 학습 알고리즘인 SCPO를 제안합니다. 기존 정렬 방식의 편향을 완화하고 데이터 효율성을 높여 글로벌 관점의 LLM 정렬을 목표로 합니다.
6월 18일0
arXiv논문
LLM은 의사를 보조할 준비가 되었는가? 상호작용적 의사-환자-EHR 보조를 위한 PhysAssistBench
의료용 LLM의 실질적인 의사 보조 능력을 평가하기 위한 새로운 벤치마크인 PhysAssistBench를 소개합니다. 이 벤치마크는 환자, 의사, EHR 시스템 간의 복잡한 상호작용을 시뮬레이션하여 모델의 통합적인 임상 역량을 테스트합니다.
6월 18일0
arXiv논문
BCL: 정보 추출을 위한 베이지안 인컨텍스트 러닝 (Bayesian In-Context Learning) 프레임워크
정보 추출(IE) 작업의 성능을 최적화하기 위해 베이지안 업데이트와 파티클 필터링을 결합한 BCL 프레임워크를 제안합니다. 이 방식은 레이블 표현을 체계적으로 정교화하여 시퀀스 레이블링과 관계 분류 모두에서 일관된 성능 개선을 보여줍니다.
6월 18일0
arXiv논문
PragReST: 화용론적 언어 이해를 위한 자기 강화 반사실적 추론
LLM의 화용론적 추론 능력을 향상시키기 위한 자기 지도 학습 프레임워크인 PragReST를 제안합니다. 반사실적 추론 흔적을 생성하고 강화 학습을 통해 모델이 암시된 의미를 더 잘 이해하도록 돕습니다.
6월 18일0
arXiv논문
PEC-Home: 스마트 홈에서의 점진적 생략 명령(Progressively Elliptical Commands) 해석
스마트 홈 환경에서 대화 문맥에 따라 발생하는 점진적 생략 명령을 해석하는 문제와 이를 해결하기 위한 PEC-Home 데이터셋을 소개합니다. LLM이 생략된 표현의 지시 대상 및 의도 모호성을 해결하는 데 여전히 한계가 있음을 실험을 통해 입증했습니다.
6월 18일0