Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1799건필터 해제
arXiv논문
완전 무작위 마스킹을 넘어: 확산 언어 모델을 위한 어텐션 기반 디노이징 및 최적화
본 연구는 확산 대규모 언어 모델(dLLMs)의 한계를 분석하고, 기존 무작위 마스킹 전략 대신 어텐션 기반 디노이징 및 최적화 프레임워크인 AGDO를 제안합니다. AGDO는 토큰 간의 어텐션 의존성을 활용하여 훈련과 최적화 과정을 개선하며, 추론 성능 향상에 기여함을 입증했습니다.
6월 14일0
arXiv논문
정보 이득(Information Gain)을 통한 다회차 대화의 의미론적 진전 측정
다회차 대화의 품질을 평가하기 위해 정보 이론을 기반으로 '의미론적 진전'을 측정하는 새로운 지표를 제안합니다. 임베딩 공간에서의 불확실성 감소를 통해 대화의 정보 축적을 계산하며, 기존 LLM 기반 평가 방식보다 효율적이고 재현 가능합니다.
6월 14일0
arXiv논문
Claw-SWE-Bench: 코딩 작업에서의 OpenClaw 스타일 에이전트 하네스 평가를 위한 벤치마크
범용 코딩 에이전트의 성능을 공정하게 평가하기 위한 새로운 벤치마크인 Claw-SWE-Bench를 소개합니다. 이 벤치마크는 다양한 에이전트 하네스(claws)를 동일한 조건에서 비교할 수 있도록 설계되었으며, 어댑터 설계와 모델 선택이 코딩 작업 성능에 미치는 영향을 분석합니다.
6월 14일0
arXiv논문
엔트로피 경계 돌파: 거부 샘플링(Rejection Sampling)을 결합한 MTP를 통한 RL 학습 가속화
RL 학습 과정에서 MTP의 수락률 저하 문제를 해결하기 위해 거부 샘플링을 결합한 Bebop 연구를 제안합니다. 모델 엔트로피 변동을 완화하는 새로운 TV 손실 함수를 통해 추론 처리량을 최대 25% 향상시키고 학습 속도를 가속화합니다.
6월 14일0
arXiv논문
Doc-to-Atom: 메모리 원자(Memory Atoms)를 학습하고 구성하는 방법
본 논문은 긴 문서를 효율적으로 처리하기 위해 Doc-to-Atom(Doc2Atom)이라는 구성적 파라미터 메모리 프레임워크를 제안합니다. 이 방법은 문서를 의미론적 지식 원자(knowledge atoms)로 분해하고, 각 원자를 독립적인 마이크로-LoRA 어댑터와 출처 검색 키로 컴파일합니다. 추론 시 쿼리 라우터를 통해 관련 원자만 선택하여 전용 어댑터를 구성함으로써 메모리 효율성과 성능을 동시에 개선했습니다.
6월 14일0
arXiv논문
대화 맥락 기반 증분 압축을 통한 다중 턴 대화 생성
본 논문은 장기 다중 턴 대화에서 발생하는 누적된 비용과 정보 손실 문제를 해결하기 위해 Context-Driven Incremental Compression (C-DIC)을 제안합니다. C-DIC는 대화를 수정 가능한 맥락적 스레드로 간주하고, 경량의 검색-수정-쓰기 백 루프를 통해 메모리를 업데이트하여 장기 행동 안정성을 높입니다. 또한, TBPTT를 조정하여 턴 간 의존성 학습을 개선했습니다.
6월 14일0
arXiv논문
순서는 제어가 아니다
AI 정렬 및 해석 가능성 연구에서 다루는 '순서'가 단순한 제어가 아님을 물리적 응답 법칙을 통해 증명합니다. LLM과 생물학적 시스템을 포함한 다양한 패널을 통해 구동-소산 응답 시스템으로서의 메커니즘을 분석합니다.
6월 14일0
arXiv논문
MiniPIC: <100LOC에서 구현 가능한 유연한 위치 독립적 캐싱
MiniPIC은 vLLM 기반 추론 서버에서 위치 독립적 캐싱(PIC)을 구현하기 위한 최소한의, 유연하고 빠른 설계를 제시합니다. 이 설계는 100줄 미만의 엔진 변경과 커스텀 어텐션 백엔드를 통해 KV 캐시 재사용 프리미티브를 제공하며, 블록 어텐션 및 프롬프트 캐시 등 다양한 PIC 방법을 지원합니다. 테스트 결과, MiniPIC은 기존 vLLM 대비 처리량을 크게 향상시키는 성능을 입증했습니다.
6월 14일0
arXiv논문
HyPE: 페르소나 기반 대화를 위한 지속적 엣지 임베딩을 갖춘 카테고리 인식 하이퍼그래프 인코딩
본 논문은 화자의 페르소나와 일관된 응답을 생성하기 위해 하이퍼그래프 기반의 새로운 인코딩 프레임워크인 HyPE를 제안합니다. HyPE는 텍스트를 사중항으로 분석하고, 공유 카테고리 레이블에 의해 유도되는 하이퍼엣지를 갖는 하이퍼그래프로 구성하여 페르소나 간의 고차원적 관계를 모델링합니다.
6월 14일0
arXiv논문
NTS-CoT: CoT 추론을 활용한 LLM 기반 뉴스 타임라인 요약의 환각 현상 완화
본 논문은 온라인 뉴스 타임라인 요약(TLS)에서 발생하는 환각 현상을 완화하기 위한 새로운 프레임워크 NTS-CoT를 제안합니다. 이 프레임워크는 Element-CoT, Date Selection, Causal-CoT 세 가지 모듈을 활용하여 내용의 충실도와 시간적 정확성을 높입니다. 실험 결과, NTS-CoT가 기존 최첨단 모델 대비 우수한 성능으로 환각 현상을 효과적으로 줄이는 것을 입증했습니다.
6월 14일0
arXiv논문
사용자와의 협업 능력 향상: 코딩 에이전트를 위한 사용자 수정 사항의 런타임 강제 적용 컴파일 기술
사용자의 수정 사항을 런타임 규칙으로 컴파일하여 코딩 에이전트의 선호도 준수율을 높이는 TRACE 기술을 소개합니다. 기존 메모리 방식의 한계를 극복하여 에이전트가 사용자의 지시를 지속적으로 준수하도록 돕습니다.
6월 14일0
arXiv논문
LAUKIN: 다중 관할권 공법 계약 데이터셋
LAUKIN은 호주, 영국, 인도 세 관할권의 법적 동등성을 비교한 새로운 데이터셋입니다. 이 데이터셋은 8가지 계약 유형의 204개 계약에서 추출된 14,727개의 조항 쌍을 포함하며, 수동 레이블링된 3,000개의 샘플로 구성되어 있습니다. 연구진은 이를 활용하여 다중 관할권 법률 NLP 모델의 성능을 평가하고 새로운 벤치마크를 제시했습니다.
6월 14일0
arXiv논문
NMT 및 요약 모델의 환각 탐지를 위한 계층별 최적 운송 (Layer-Resolved Optimal Transport)
최적 운송(Optimal Transport) 이론을 활용하여 NMT 및 요약 모델의 환각을 탐지하는 계층별 분석 방법을 제안합니다. 디코더 계층별 교차 주의 집중 분포를 분석하여 환각 유형을 식별하고, 모델의 해석 가능성을 높이는 연구입니다.
6월 14일0
arXiv논문
보상 모델에서의 유용성 및 무해성 간의 긴장 이해
본 연구는 RLHF의 핵심인 보상 모델에서 유용성(Helpfulness)과 무해성(Harmlessness)이라는 상충되는 목표가 어떻게 정렬 긴장(alignment tension)을 형성하는지 탐구합니다. 활성화 기반 방법론을 통해 각 목표와 관련된 뉴런들을 식별하고, 이들이 서로 간섭하며 모델 행동에 불균형한 영향을 미치는 메커니즘을 밝혀냈습니다.
6월 14일0
arXiv논문
유사한 의미가 다른 경우: 아랍어-히브리어 동족어를 활용한 대규모 언어 모델(LLMs) 평가
본 논문은 아랍어와 히브리어 같은 동족어 언어를 활용한 LLM의 교차 언어 의미 이해 능력을 평가하는 새로운 벤치마크인 SemCog Bench를 소개합니다. 이 벤치마크는 진정한 동족어, 가짜 친구, 차용어 쌍을 포함하며, 오픈 소스 및 상용 LLMs의 성능을 분석했습니다. 연구 결과, 모델들은 형태 유사성에 과도하게 의존하여 교차 언어 추론에서 결정적인 한계를 보였습니다.
6월 14일0
arXiv논문
비트를 수정하고 코드를 확산시키기: 시각적 자기회귀 모델을 위한 비트 단위 잔차 편집 (Bitwise Residual Editing for
시각적 자기회귀(VAR) 모델의 구조적 특성을 활용한 새로운 이미지 편집 기술인 BitResEdit을 제안합니다. 비트 단위 잔차를 제어하여 텍스트 정렬 성능을 높이면서도 배경 보존력을 유지하는 것이 특징입니다.
6월 14일0
arXiv논문
인식의 어조: TikTok의 정신 건강 인식의 달 동안의 주제, 감성 및 독성 지도
TikTok의 정신 건강 인식의 달 기간 동안 영상과 댓글의 주제, 감성, 독성을 분석한 연구입니다. BERTopic과 XLM-T 등을 활용해 콘텐츠 제작자와 시청자의 수용 방식 차이를 정량적으로 규명했습니다.
6월 14일0
arXiv논문
SafeLLM: 안전이 중요한 환경에서 재작성(Rewriting)의 환각 저항성 대안으로서의 추출(Extraction) 방식
RAG 시스템에서 재작성 방식이 유발하는 환각 문제를 해결하기 위해 추출(Extraction) 방식을 제안하고 평가한 연구입니다. 행 번호 기반 소스 선택 방식이 정밀도와 재현율 측면에서 기존 방식보다 우수한 성능을 보임을 입증했습니다.
6월 14일0
arXiv논문
중요한 것을 확대하기: 시각적 텍스트 이해를 위한 어텐션 가이드 적응형 렌더링 (Attention-Guided Adaptive
VLM의 시각적 텍스트 이해(VTC) 능력을 향상시키기 위해 어텐션 메커니즘을 활용한 AGAR 방식을 제안합니다. 모델의 중간-후기 레이어 어텐션을 통해 중요한 시각적 패치를 식별하고 이를 확대 렌더링하여 성능을 개선합니다.
6월 14일0
arXiv논문
인간과 유사한 기준 탐색을 통한 제로 소스 LLM 환각 탐지
제로 소스 환경에서 LLM의 환각을 탐지하기 위한 새로운 패러다임인 HCPD를 제안합니다. 인간의 추론 방식을 모방하여 판단 기준을 해석 가능한 가중치 세트로 분해하고, 약한 지도 학습을 통해 모델을 정렬합니다.
6월 14일0