Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
LC-QAT: 선형 제약 벡터 양자화 (Linear-Constrained Vector Quantization)를 통한 LLM용 데이터 효율적
LC-QAT는 2비트 정밀도의 LLM을 위해 제안된 새로운 벡터 양자화(VQ) 프레임워크입니다. 아핀 매핑을 통해 미분 가능한 엔드투엔드 최적화를 구현하여, 매우 적은 데이터만으로도 기존 QAT 방식보다 뛰어난 성능을 보여줍니다.
6월 10일0
arXiv논문
Prefilling-dLLM: Diffusion Language Models의 긴 문맥 추론을 위한 예측적 프리필링 (Predictive
Diffusion Language Models(dLLM)의 긴 문맥 처리 시 발생하는 높은 연산 비용을 해결하기 위한 Prefilling-dLLM 프레임워크를 제안합니다. 별도의 학습 없이 KV 캐싱과 희소 프리필링을 통해 연산 복잡도를 획기적으로 낮추고 추론 속도를 대폭 향상시켰습니다.
6월 10일0
arXiv논문
숨겨진 합의: 인간 피드백에서의 선호도-타당성 압축 (Preference-Validity Compression)
RLHF 과정에서 다양한 인간의 가치관이 단일 보상 목표로 축소되는 '선호도-타당성 압축' 현상을 분석합니다. 말레이시아 사례 연구를 통해 단일 승자 집계 방식이 다원적 타당성을 가진 응답들을 유실함을 증명하고, 타당성 보존 일관성의 필요성을 제안합니다.
6월 10일0
arXiv논문
ParaBridge: 음성 언어 모델(Speech Language Models)에서 준언어적 지각과 대화 행동 간의 간극 메우기
ParaBridge는 음성 언어 모델(SLM)이 목소리 톤 등 준언어적 단서를 대화에 반영하도록 돕는 새로운 연구입니다. 온-정책 자기 증류(on-policy self-distillation)를 통해 모델이 별도의 지시 없이도 비어휘적 단서를 이해하고 적절한 대화 행동을 보이도록 학습시킵니다.
6월 10일0
arXiv논문
논리적 규칙을 이용한 지식 편집 (Knowledge Editing) 벤치마킹
LLM의 지식 편집 기술이 직접적인 사실 수정에는 능숙하지만, 그에 따른 논리적 함축 지식을 처리하는 데는 한계가 있음을 보여주는 새로운 벤치마크를 소개합니다. 지식 그래프 기반의 멀티홉 질문을 통해 기존 방식들의 성능 격차를 분석하고 의미론적 인지 평가의 필요성을 강조합니다.
6월 10일0
arXiv논문
Causal Ensemble Agent: LLM 가이드 기반 전문가 재가중치를 이용한 계층적 인과 발견 (Hierarchical Causal
Causal Ensemble Agent(CEA)는 통계적 인과 발견 전문가들의 통찰을 집계하고, LLM을 메타 심판으로 활용하여 전문가 가중치를 동적으로 재조정하는 새로운 프레임워크입니다. 이를 통해 서로 다른 알고리즘 간의 충돌을 해결하고 더 정확하고 완전한 인과 그래프를 구성합니다.
6월 10일0
arXiv논문
적은 데이터, 큰 노이즈: 강건한 매개변수 효율적 미세 조정(PEFT)을 위한 적대적 학습
적은 데이터와 높은 노이즈 환경에서 PEFT의 강건성을 높이기 위한 SDBN 프레임워크를 제안합니다. 적대적 학습을 도입하여 모델의 일반화 능력을 향상시키며, 저자원 환경에서도 뛰어난 성능을 보입니다.
6월 10일0
arXiv논문
추론은 어떻게 흐르는가? LLM의 타겟형 RL을 위한 어텐션 유도 정보 흐름 추적
LLM 강화학습 시 토큰별 신용 할당 문제를 해결하기 위해 어텐션 기반의 방향성 비순환 그래프(DAG)를 활용하는 FlowTracer 프레임워크를 제안합니다. 정보 흐름의 보존과 추론 경로 추적을 통해 핵심 토큰에 정확한 보상을 부여함으로써 추론 성능을 향상시킵니다.
6월 10일0
arXiv논문
동적 선형 어텐션 (Dynamic Linear Attention)
표준 어텐션의 이차 복잡도 문제를 해결하기 위해 제안된 DLA(Dynamic Linear Attention) 프레임워크를 소개합니다. DLA는 고정된 상태 병합 방식의 한계를 극복하여 토큰의 중요도에 따라 메모리를 동적으로 관리하고 정보 손실을 최소화합니다.
6월 10일0
arXiv논문
자기지도 학습 음성 인식 모델에서의 화자 그룹 인코딩
자기지도 학습 음성 인식 모델(S3Ms)이 성별, 연령, 인종 등 다양한 화자 그룹 정보를 어떻게 인코딩하는지 분석한 연구입니다. 미세 조정 방식에 따라 음성학적 또는 의미론적 정보의 유지 여부가 달라짐을 밝히고, 공정성 향상 알고리즘의 영향을 조사했습니다.
6월 10일0
arXiv논문
우리는 지식을 평가하는가, 아니면 표현 방식을 평가하는가? ParaEval을 통한 MCQA 민감도 완화
MCQA 벤치마크가 정답의 표현 방식에 민감하게 반응하여 모델의 실제 능력을 왜곡하는 문제를 지적합니다. 이를 해결하기 위해 패러프레이즈를 활용하여 성능 격차를 줄이는 새로운 평가 프레임워크 ParaEval을 제안합니다.
6월 10일0
arXiv논문
자기지도 표현(Self-Supervised Representations)과 학습된 동적 계획법(Learned Dynamic
MMS 모델과 자기지도 음소 경계 탐지기를 결합하여 다국어 단어 수준 강제 정렬을 수행하는 새로운 방법을 제안합니다. 학습된 동적 계획법을 통해 단어 경계를 추론하며, 기존 MFA 및 MMS 기반 방식보다 뛰어난 성능을 입증했습니다.
6월 10일0
arXiv논문
Infini Memory: 장기 LLM 에이전트 메모리를 위한 유지 관리 가능한 주제별 문서화
장기 LLM 에이전트의 지속적인 메모리 문제를 해결하기 위해 주제 구조화된 문서 기반의 Infini Memory 아키텍처를 제안합니다. 이 시스템은 메모리를 의미론적 단위로 관리하여 사실 수정과 증거 집계를 용이하게 하며, 반복적인 도구 호출을 통해 효율적인 검색을 수행합니다.
6월 10일0
arXiv논문
REAL: LLM의 장기 기억 관리를 위한 추론 강화 그래프 프레임워크
LLM의 컨텍스트 제한 문제를 해결하기 위해 장기 기억 관리를 위한 새로운 그래프 프레임워크인 REAL을 제안합니다. REAL은 시간적·신뢰도 인식 유향 속성 그래프를 사용하여 사실의 진화 과정을 비파괴적으로 추적하고 효율적인 메모리 서브그래프를 추출합니다.
6월 10일0
arXiv논문
지속적 LLM 업사이클링: Dense-to-Sparse LLM을 위한 예측기 게이트 방식의 뱅크 단위 희소성 학습 레시피
Dense 체크포인트에서 채널 희소(channel-sparse) LLM을 구축하기 위한 지속적 학습 방법론을 제안합니다. 예측기 게이트 방식을 통해 FFN 채널을 효율적으로 라우팅하여 4배의 희소성을 구현하며, 긴 컨텍스트 성능을 개선하는 알고리즘을 포함합니다.
6월 10일0
arXiv논문
ArabiGEE: 아랍어 문법 오류 설명을 위한 계층적 분류 체계
아랍어 문법 오류 설명(GEE)을 위한 최초의 계층적 분류 체계인 ArabiGEE를 제안합니다. 철자, 형태, 통사, 어휘 차원을 아우르는 구조를 통해 LLM의 자동 평가를 지원하며, 관련 코드와 데이터를 공개합니다.
6월 10일0
arXiv논문
비지도 학습 기반 용어 발견에서의 Zipf 분포 회복
비지도 용어 발견 시 K-means와 같은 중심 기반 클러스터링이 Zipf 분포를 재현하지 못하는 문제를 지적합니다. 그래프 기반 클러스터링과 Leiden 알고리즘을 활용하여 실제 어휘 사전의 분포에 더 가까운 성능을 구현하는 방법을 제안합니다.
6월 10일0
arXiv논문
RedAct: 절차적 기술 보호를 위한 에이전트 능력 추적 데이터의 비식별화
에이전트의 실행 추적 데이터에서 개인의 절차적 기술 유출을 방지하기 위한 RedAct 프레임워크를 제안합니다. CapTraceBench 벤치마크를 통해 보안 성능을 평가하며, 감사 증거를 보존하면서도 핵심 기술 노출을 효과적으로 차단합니다.
6월 10일0
arXiv논문
ConvMemory v2: 대화형 메모리 검색을 위한 재현율 보존형 Top-10 증거 재순위화 모델 (Reranker)
ConvMemory v2는 대화형 메모리 검색을 위해 상위 10개 후보를 재정렬하는 경량 재순위화(Reranker) 모델입니다. ms-marco-MiniLM-L-6-v2를 미세 조정하여 Recall@10을 유지하면서도 MRR과 H@1 성능을 크게 향상시켰습니다.
6월 10일0
arXiv논문
중력 가중치 직접 선호 최적화(Gravity-Weighted Direct Preference Optimization)를 통한 다단계 지시 계층
LLM의 지시 사항 충돌 문제를 해결하기 위해 k-단계 지시 계층 구조를 공식화하고, GW-DPO(Gravity-Weighted DPO) 방법론을 제안합니다. 이 방식은 계층 간 구조적 거리에 따라 가중치를 조절하여 모델이 우선순위를 더 정확히 준수하도록 돕습니다.
6월 10일0