Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1795건필터 해제
arXiv논문
BlockPilot: 확산 기반 투기적 디코딩 (Diffusion-based Speculative Decoding)을 위한 인스턴스 적응형
BlockPilot은 확산 기반 투기적 디코딩의 효율성을 높이기 위해 입력 샘플마다 최적의 블록 크기를 예측하는 인스턴스 적응형 정책을 제안합니다. 프리필링 표현을 활용해 최적의 블록 크기를 결정함으로써 추가 오버헤드 없이 추론 속도를 크게 향상시킵니다.
4일 전0
arXiv논문
교차 벤치마크 의료 질의응답을 위한 임상 구조화 랭크 게이트형 LoRA
의료 질의응답 성능 향상을 위해 입력 조건에 따라 LoRA의 랭크 차원을 동적으로 조절하는 BiRG-LoRA 방법론을 제안합니다. 이 모델은 임상 지식을 바탕으로 최적의 랭크 원자를 선택하여 매개변수 효율성을 높이면서도 높은 정확도를 달성했습니다.
4일 전0
arXiv논문
RVL-CDIP 수정: 오류 정량화 및 테스트-훈련 중복 분석
문서 분류 벤치마크 데이터셋인 RVL-CDIP의 레이블 오류와 테스트-훈련 데이터 중복 문제를 분석하고 이를 수정한 새로운 버전을 제안합니다. 연구 결과, 오류 수정은 정확도를 높이고 중복 제거는 정확도를 낮추지만, OOD 일반화 성능은 크게 향상됨을 확인했습니다.
4일 전0
arXiv논문
아동의 읽기 능력 훈련 및 평가를 위한 ASR 솔루션 구축
Bambara 언어를 사용하는 아동의 읽기 능력을 평가하기 위한 오픈 소스 ASR 시스템 구축 연구를 소개합니다. 데이터 수집부터 벤치마크 구축, Soloni 모델 개발 및 교실 검증까지의 엔드 투 엔드 프로세스를 다룹니다.
4일 전0
arXiv논문
이중 의미론적 임베딩(Dual Semantic Embeddings)을 통한 대규모 언어 모델(LLMs)용 강력한 텍스트 워터마킹
문맥 및 토큰 수준의 임베딩을 활용하여 문장 재구성 및 번역에 강한 LLM용 워터마킹 체계인 DEW를 제안합니다. 대수적 벡터 공간 연산을 통해 의미론적 변화 속에서도 워터마크 신호를 유지하며 텍스트 품질을 보존합니다.
4일 전0
arXiv논문
AutoTrainess: 언어 모델이 스스로 언어 모델을 개선하도록 가르치기
AutoTrainess는 언어 모델이 스스로 사후 학습(post-training) 과정을 수행하여 모델을 개선할 수 있도록 설계된 에이전트 프레임워크입니다. 인간의 경험을 워크플로와 규칙으로 외재화하여 에이전트가 데이터 준비부터 학습, 평가까지 신뢰성 있게 수행하도록 돕습니다.
4일 전0
arXiv논문
CLExEval: LLM의 임상적 추론에 대한 정성적 평가를 위한 인간 참여형 (Human-in-the-Loop) 프레임워크
LLM의 임상적 추론을 신뢰성 있게 평가하기 위한 인간 참여형 프레임워크인 CLExEval을 제안합니다. 연구 결과, 모델의 장황함 편향, 숨겨진 지식 역설, 추론-출력 불일치 등 주요 실패 패턴을 식별했습니다. 또한 자동화된 평가 방식이 임상적 오류를 과대평가할 위험이 있음을 경고합니다.
4일 전0
arXiv논문
저자원 반투어(Bantu) 음성 인식을 위한 성조 조건부 커리큘럼 학습
저자원 남부 반투어의 음성 인식 성능을 높이기 위해 성조 조건부 커리큘럼 학습 프레임워크를 제안합니다. 하이브리드 난이도 점수와 게이트 어댑터를 활용하여 기존 모델의 높은 오류율 문제를 해결하고자 했습니다.
4일 전0
arXiv논문
REAR: 보상 분해를 통한 테스트 시간 선호도 재정렬 (Test-time Preference Realignment through Reward
LLM을 사용자 선호도에 맞게 정렬하기 위해 테스트 시간 스케일링(TTS)을 활용하는 새로운 프레임워크 REAR를 제안합니다. 보상 함수를 질문 관련 요소와 선호도 정보로 분해하여 효율적인 재정렬을 가능하게 하며, 수학 및 시각적 작업에서도 뛰어난 성능을 보입니다.
5일 전0
arXiv논문
OLIVE: 음성 SSL을 위한 파형 재구성 및 뷰 증강 잠재 예측
OLIVE는 음성 SSL을 위한 새로운 프레임워크로, 뷰 증강 마스크 잠재 예측과 파형 재구성을 결합하여 최적화합니다. 이를 통해 신호 수준의 정보 유지와 견고한 문맥적 표현 형성을 동시에 달성합니다.
5일 전0
arXiv논문
MaDI-Bench: 엔드투엔드(End-to-End) 데이터 통합 벤치마크
MaDI-Bench는 관계형 테이블의 엔드투엔드 데이터 통합을 평가하기 위해 제안된 최초의 벤치마크입니다. 스키마 매칭부터 충돌 해결까지 전체 파이프라인을 포괄하며, LLM 기반 파이프라인을 포함한 다양한 시스템의 성능을 검증할 수 있습니다.
5일 전0
arXiv논문
생성적 사회 시뮬레이션을 통한 소비자 신뢰도의 현저성 중심 역학 규명
ConsumerSim이라는 생성적 인간-환경 반응 프레임워크를 통해 소비자 신뢰 지수(CCI)의 역학을 재구성하는 연구를 소개합니다. 합성 인구와 거시경제 데이터를 활용하여 경제 충격에 따른 소비자 신뢰의 변화를 정밀하게 시뮬레이션합니다.
5일 전0
arXiv논문
MOPD: LLM 사후 학습(Post-Training) 시 능력 통합을 위한 다중 교사 온폴리시 증류 (Multi-Teacher
MOPD는 여러 도메인의 강화학습(RL) 능력을 하나의 LLM으로 통합하기 위한 새로운 사후 학습 패러다임입니다. 학생 모델의 자체 롤아웃을 통해 다중 교사의 능력을 증류함으로써 노출 편향을 제거하고 도메인 간 결합 문제를 해결합니다.
5일 전0
arXiv논문
이질적인 지식 충돌 상황에서 강건한 RAG를 위한 체제 인식 피어 전문화 (Regime-Aware Peer Specialization)
RAG 시스템에서 외부 문맥과 모델 지식이 충돌할 때 발생하는 취약성을 해결하기 위한 RAPS-DA 프레임워크를 제안합니다. 샘플 및 토큰 수준에서 체제를 인식하여 전문화된 피어 전문가를 학습함으로써, 모델 규모를 키우지 않고도 충돌 상황에 강건한 성능을 구현합니다.
5일 전0
arXiv논문
Poller: LLM은 시 이해 태스크를 평가하기에 적합한가?
현대 중국 시 평가를 위해 LLM이 시인의 관점을 채택하여 평가하는 새로운 방법론인 Poller를 제안합니다. 실험 결과, Poller는 수사 기법 및 낯설게 하기 등 전문적 차원에서 기존 방식보다 인간과의 평가 오차를 획기적으로 줄였습니다.
5일 전0
arXiv논문
하이브리드 어텐션 모델로의 변형 (Morphing into Hybrid Attention Models)
Transformer 모델의 긴 문맥 효율성을 높이기 위해 전체 어텐션과 선형 어텐션을 결합하는 하이브리드 모델 최적화 연구입니다. FlashMorph라는 새로운 레이어 선택 방법을 제안하여, 예산 제약 내에서 최적의 레이어 구성을 효율적으로 찾아냅니다.
5일 전0
arXiv논문
파라미터가 아닌 지평을 확장하기: 35B 에이전트로 조 단위 파라미터급 성능 달성
35B MoE 모델인 Agents-A1을 통해 에이전트 지평을 확장하여 조 단위 파라미터급 성능을 달성하는 연구를 소개합니다. 장기 지평 궤적과 이질적 에이전트 능력을 결합한 3단계 학습 레시피를 통해 1T 모델과 대등한 성능을 구현했습니다.
5일 전0
arXiv논문
다회차 LLM 대화에서 나타나는 어트랙터 상태 (Attractor States)
LLM 간의 다회차 대화에서 나타나는 '어트랙터(Attractor)' 현상을 연구한 논문입니다. 모델 간 상호작용 시 특정 모델의 스타일이 다른 모델에게 전이되어 대화가 특정 행동 집합으로 수렴하는 비대칭적 역학을 분석했습니다.
5일 전0
arXiv논문
모호성 하에서의 불확실성 인지 생성 및 의사결정
본 연구는 베이지안 의사결정 이론과 위험 회피적 의사결정을 활용하여 LLM의 불확실성 인지 능력을 개선하는 알고리즘을 제안합니다. 튜터링 및 자동 동료 검토 작업에서 일치 예측(conformal prediction)을 통해 출력의 신뢰성을 높이는 방법을 다룹니다.
5일 전0
arXiv논문
재표집(Resampling)의 숨겨진 비용: 불균형 교정이 트리 앙상블(Tree Ensembles)의 확률 교정(Probability
클래스 불균형 해결을 위한 재표집(Resampling) 기법이 트리 앙상블 모델의 확률 교정(Probability Calibration)에 미치는 영향을 분석한 연구입니다. SMOTE는 영향이 미미하지만, 언더샘플링은 심각한 확률 왜곡을 초래함을 입증했습니다.
5일 전0