Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
MESA: 분산된 전문성을 통한 MoE 안전 정렬(Safety Alignment) 개선
MoE 모델의 '안전 희소성' 문제를 해결하기 위해 제안된 MESA 프레임워크를 소개합니다. 최적 운송(OT) 이론을 활용하여 안전 책임을 전문가들에게 전략적으로 분산함으로써, 모델의 유용성을 유지하면서도 유해성 방어 성능을 극대화합니다.
6월 2일0
arXiv논문
AXIOM: 검증 가능한 수학적 추론을 위한 신뢰 우선 신경-기호 실행 아키텍처
AXIOM은 수학적 추론의 신뢰성을 높이기 위해 언어 모델을 정형화 도구로 활용하는 신경-기호(neuro-symbolic) 아키텍처입니다. 비정형 텍스트를 결정론적 컴퓨터 대수 시스템(CAS)용 스키마로 변환하여 정답을 도출하며, 높은 정확도와 낮은 지연 시간을 동시에 달성했습니다.
6월 2일0
arXiv논문
FineVerify: 에이전트 기반 검색을 위한 세밀한 자기 검증을 통한 테스트 시간 연산(Test-Time Compute) 확장
FineVerify는 에이전트 기반 검색의 성능을 높이기 위해 테스트 시간 연산을 확장하는 세밀한 자기 검증 프레임워크입니다. 질문을 검증 가능한 하위 질문으로 분해하고 각 단계별로 점수를 매겨 최적의 후보를 선택함으로써 모델의 정확도를 크게 향상시킵니다.
6월 2일0
arXiv논문
OCC-RAG: 충실한 질의응답을 위한 최적의 인지 코어
충실한 질의응답을 위해 설계된 소형 언어 모델(SLM) 제품군인 OCC-RAG를 소개합니다. 대규모 합성 데이터 파이프라인을 통해 멀티홉 추론과 문맥 충실도를 극대화하여, 작은 규모로도 거대 모델을 능가하는 성능을 입증했습니다.
6월 2일0
arXiv논문
EPIC: 확산 언어 모델(Diffusion Language Models)의 CFG 제약 조건 하에서의 효율적이고 병렬적인 추론
확산 언어 모델(Diffusion Language Models)의 CFG 제약 조건 하에서의 추론 속도 저하 문제를 해결하기 위한 EPIC 프레임워크를 제안합니다. 어휘 분석 메모이제이션과 Earley 스타일 파싱을 통해 병렬 디코딩의 장점을 유지하며 추론 시간을 대폭 단축했습니다.
6월 2일0
arXiv논문
분포 외 탐지(OOD Detection)를 위한 연속 정규화 흐름(Continuous Normalizing Flow)의 국소 진단
CNF를 활용하여 고차원 데이터의 OOD 탐지 문제를 해결하기 위한 LSF 프레임워크를 제안합니다. 생성 모델의 가능도 역설 문제를 분석하고, 속도장을 기반으로 한 기하학적 진단 신호를 통해 음성 합성 모델의 발음 오류를 효과적으로 탐지합니다.
6월 2일0
arXiv논문
WaveFilter: 웨이브릿 가이드 KV 캐시 필터링을 통한 Diffusion LLM의 긴 문맥 능력 향상
WaveFilter는 Diffusion LLM의 긴 문맥 처리 시 발생하는 계산 오버헤드와 지연 시간을 해결하기 위한 새로운 캐싱 프레임워크입니다. 웨이브릿 변환을 활용해 핵심 토큰을 정밀하게 식별하고 희소 KV 캐시를 구축하여 성능을 높입니다.
6월 2일0
arXiv논문
공감에서 개인화된 공감으로: 개인별 사용자에게 공감 전략 적응시키기
LLM의 장기적 상호작용에서 사용자의 성격에 맞춘 개인화된 공감 능력을 연구합니다. 이를 위해 PersonaEmp 데이터셋과 보상 모델링 프레임워크인 PereGRM을 제안하여 공감 전략의 성능을 향상시켰습니다.
6월 2일0
arXiv논문
I-WebGenBench: LLM이 생성한 과학적 웹 애플리케이션의 상호작용성 평가
정적인 논문을 실행 가능한 상호작용형 웹 시스템으로 변환하는 'Paper-to-Interactive-System Agent'를 제안합니다. 이를 평가하기 위한 벤치마크인 I-WebGenBench와 구조화된 생성 프레임워크인 PaperVoyager를 통해 시스템의 품질을 입증했습니다.
6월 2일0
arXiv논문
온도를 내재화하기: 강화학습 (Reinforcement Learning)을 위한 정책 재가열(Policy Reheater)로서의 온-폴리시
강화학습 과정에서 발생하는 엔트로피 붕괴 문제를 해결하기 위해 모델 파라미터 내부에 온도를 내재화하는 TS-OPSD 기법을 제안합니다. 이 방법은 외부 교사 없이 모델의 로짓에 높은 온도를 적용해 자기 증류함으로써 탐색 능력을 복원합니다.
6월 2일0
arXiv논문
Mixture-of-Experts를 위한 신뢰도 적응형 SwiGLU
MoE 모델의 성능 향상을 위해 토큰별 라우팅 신뢰도에 따라 게이트 날카로움을 조절하는 $\kappa$-SwiGLU를 제안합니다. 실험 결과, 추가 파라미터와 계산 비용을 최소화하면서도 MoE Transformer의 성능을 효과적으로 개선했습니다.
6월 2일0
arXiv논문
LLM 안전성 내 다양한 취약점 발견을 위한 품질-다양성 진화 (Quality-Diversity Evolution)
LLM의 적대적 테스트 시 발생하는 커버리지 격차와 모드 붕괴 문제를 해결하기 위해 의미론적 수준에서 작동하는 품질-다양성(Quality-Diversity) 진화 프레임워크를 제안합니다. MAP-Elites를 활용해 해석 가능한 공격 전략을 생성하며, 주요 모델별 취약점 프로필을 체계적으로 분석합니다.
6월 2일0
arXiv논문
기업용 멀티 에이전트 시스템을 위한 동적 협업 전략 선택
기업용 멀티 에이전트 시스템에서 문제 유형에 따라 협업 전략을 동적으로 선택하는 연구를 다룹니다. 실험 결과, 특정 전략이 항상 승리하는 결정론적 방식보다는 최적의 성능에 근접하는 '최선에 근접한 라우팅(near-best routing)' 방식이 유효함을 입증했습니다.
6월 2일0
arXiv논문
적대적 공격의 세대 간 전이를 통해 밝혀진 LLM의 비단조적 안전 정렬 (Non-Monotonic Safety Alignment)
Gemma 모델 세대 간 연구를 통해 LLM의 안전 정렬이 단조롭게 개선되지 않는 '비단조적' 특성을 발견했습니다. 특정 세대에서 공격 성공률이 급증하는 퇴보 현상이 관찰되었으며, 이는 정적 벤치마크가 아닌 적응형 종단적 탐사를 통해서만 확인 가능합니다.
6월 2일0
arXiv논문
모든 전환이 순응은 아니다: 멀티 에이전트 LLM 토론에서의 입장 수렴 분해
멀티 에이전트 토론(MAD)에서 발생하는 답변 변화가 진정한 추론인지 사회적 순응인지 분석한 연구입니다. 세 가지 소스 분해 프레임워크를 통해 자발적 불안정성, 입장 유도형 순응, 추론 유도형 설득을 구분하여 제시합니다.
6월 2일0
arXiv논문
GenPT: 생성적 투사 검사를 통한 신뢰할 수 있는 LLM 심리 측정의 자기 보고 방식 초월
기존 자기 보고식 설문지의 오염 및 편향 문제를 해결하기 위해 투사 패러다임을 활용한 GenPT 프레임워크를 제안합니다. GenPT는 생성적 자극을 통해 LLM 에이전트의 심리 상태를 보다 신뢰성 있게 측정하며, 기존 방식보다 높은 타당도를 보여줍니다.
6월 2일0
arXiv논문
Sympatheia: 연속적 정동 조건화(Continuous Affect Conditioning)를 통한 감정 적응형 음성 비서
Sympatheia는 사용자의 감정 상태를 연속적인 가치-각성(VA) 신호로 조건화하여 응답하는 음성 대 음성 대화 프레임워크입니다. 멀티모달 센싱을 통해 감정 정보를 통합함으로써, 모호한 상황에서도 의미와 감정이 적절히 정렬된 음성 응답을 생성합니다.
6월 2일0
arXiv논문
Momento: 멀티 세션 에이전트 대화를 통한 지속적 메모리 및 추론 평가
기존 단일 세션 중심 벤치마크의 한계를 극복하기 위해 멀티 세션 환경에서의 지속적 메모리와 추론을 평가하는 Momento를 제안합니다. 실험 결과, 현재 에이전트들은 과거 정보를 현재 컨텍스트의 신뢰할 수 있는 지표로 활용하는 데 어려움을 겪고 있습니다.
6월 2일0
arXiv논문
IDEAFix: LLM의 창의적 탈고착 프롬프팅 (Creative Defixation Prompting) 평가 프레임워크
LLM의 창의적 사고와 고착 현상을 체계적으로 분석하기 위한 평가 프레임워크 IDEAFix를 소개합니다. 이 프레임워크는 작업 구성과 프롬프팅 전략이 아이디어 생성의 독창성에 미치는 영향을 통제된 환경에서 평가합니다.
6월 2일0
arXiv논문
인용 근거 설정(Citation Grounding): 법률 인용 그래프를 통한 LLM 인용 환각(Citation Hallucinations)
LLM의 법률 인용 환각 문제를 해결하기 위해 인용 근거 설정(Citation Grounding, CG) 지표를 제안합니다. 인용 정확도, 관련성, 시의성을 평가하며, CG-DPO 기법을 통해 모델이 올바른 법률 인용을 수행하도록 미세 조정하는 방법을 제시합니다.
6월 2일0