Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
경험적 지식 통합 및 활성화를 통한 LLM 도구 호출(Tool Calling)의 한계 돌파
LLM의 도구 호출 성능을 높이기 위해 지식 습득, 활성화, 내재화 단계를 다루는 KATE 프레임워크를 제안합니다. 추론 너비를 확장하는 병렬 샘플링과 지식 인지 훈련을 통해 다단계 실행 오류를 효과적으로 해결합니다.
6월 10일0
arXiv논문
필요한 것만 추적하라: 긴 문서 질의응답을 위한 구조 인식 온디맨드 하이퍼그래프 메모리
긴 문서 QA의 한계를 극복하기 위해 문서 구조를 인식하고 온디맨드 하이퍼그래프 메모리를 사용하는 DocTrace 프레임워크를 제안합니다. 이 방식은 문서 계층 구조를 보존하고 추론 경험을 재사용하여 성능을 높이고 비용을 절감합니다.
6월 10일0
arXiv논문
모두를 편향되게 만드는 데는 하나면 충분하다: One-Shot GRPO를 통한 가드레일 무력화
본 연구는 Group Relative Policy Optimization(GRPO)을 통해 LLM의 정렬(alignment) 가드레일이 얼마나 쉽게 무력화될 수 있는지 분석합니다. 단 하나의 편향된 사례를 통한 One-Shot GRPO 학습만으로도 모델이 체계적인 편향을 보이며, 이것이 다양한 벤치마크로 일반화될 수 있음을 경고합니다.
6월 10일0
arXiv논문
PsychoSafe: 대규모 언어 모델(LLM)에서 심리학적 근거를 바탕으로 한 거절 유도
PsychoSafe는 LLM이 고위험 요청을 거절할 때 심리학적 근거를 바탕으로 지원적 의사소통을 수행하도록 설계된 프레임워크입니다. Qwen 3.5 27B 모델에 프롬프팅과 미세 조정을 적용하여 거절의 품질과 외부 리소스 참조 능력을 크게 향상시켰습니다.
6월 9일0
arXiv논문
중립적 마스크: RLHF가 대규모 언어 모델(LLM)에서 당파적 구조를 유지한 채 어떻게 얕은 정렬(Shallow Alignment)을
RLHF가 LLM의 내부 당파적 구조를 제거하는 것이 아니라, 출력 단계에서 인과적 경로를 차단하여 기능적 중립성만을 구현한다는 연구입니다. Llama 3.1 8B를 통해 RLHF가 깊은 정렬 대신 얕은 정렬(Shallow Alignment)을 생성함을 기계론적으로 증명했습니다.
6월 9일0
arXiv논문
IS-CoT: 교차 구조적 사고를 통한 장문 생성 붕괴 현상 해결
LLM의 장문 생성 시 발생하는 길이 붕괴 현상을 해결하기 위해 IS-CoT 프레임워크를 제안합니다. 생성 과정 내에 '계획-작성-성찰' 사이클을 내장하여 동적인 전략 적응을 가능하게 하며, 이를 통해 학습된 IS-Writer-8B는 장문 벤치마크에서 뛰어난 성능을 입증했습니다.
6월 9일0
arXiv논문
형식 언어 작업의 학습 가능성에 대한 인과적 평가
언어 모델의 작업별 데이터 필요량과 학습 가능성 사이의 관계를 인과적으로 분석한 연구입니다. 형식 언어를 활용한 통제된 환경에서 상관관계 분석의 한계를 지적하고, 인과적 개입을 통한 정확한 학습 가능성 측정 방법론을 제안합니다.
6월 9일0
arXiv논문
NüshuVoice: 피치 인식 텍스트 음성 변환(TTS)을 통한 멸종 위기 누서(Nüshu)의 목소리 복원
멸종 위기 문자인 누서(Nüshu)의 음향적 재구성을 위한 최초의 TTS 벤치마크인 NüshuVoice를 소개합니다. 저자원 환경을 극복하기 위해 피치 표기법을 활용한 Nüshu-PitchVITS 모델을 제안하며, 기존 모델보다 뛰어난 음성 합성 성능을 입증했습니다.
6월 9일0
arXiv논문
하나의 모델, 다중 목표: 이커머스 대화 시스템을 위한 적응형 다중 목표 학습 (Adaptive Multi-Objective Learning)
이커머스 대화 시스템에서 추론 정확도와 언어적 자연스러움을 동시에 최적화하는 MORE 프레임워크를 제안합니다. 제약 조건 기반의 정책 최적화를 통해 추가적인 추론 오버헤드 없이 두 목표를 균형 있게 달성합니다.
6월 9일0
arXiv논문
SG-OPD: 부호 일관성 게이팅(Sign-Consistency Gating) 및 단계적 교사 샘플링(Phased Teacher
SG-OPD는 온폴리시 증류(OPD) 과정에서 발생하는 궤적 불일치와 토큰 신뢰성 문제를 해결하기 위한 새로운 방법론을 제안합니다. 부호 일관성 게이팅과 단계적 교사 샘플링을 통해 수학적 추론 성능을 크게 향상시켰습니다.
6월 9일0
arXiv논문
최소 편집(Minimal-Edit) 우크라이나어 문법 오류 교정(GEC)을 위한 프롬프팅은 어디까지 가능한가?
본 연구는 상용 및 오픈 소스 LLM을 활용하여 우크라이나어 문법 오류 교정(GEC) 성능을 평가합니다. 제로샷, 퓨샷, 프롬프트 최적화 전략을 비교한 결과, 최소 편집 프롬프트와 LLM 지원 최적화 조합이 가장 우수한 성능을 보였습니다.
6월 9일0
arXiv논문
PBSD: 장기적 신용 할당(Long-Horizon Credit Assignment)을 위한 특권적 베이지안 자기 증류(Privileged
PBSD는 장기적 에이전트 작업에서 발생하는 신용 할당 문제를 해결하기 위해 베이지안 보정 자기 증류 방법론을 제안합니다. 베이즈 정리를 활용해 희소한 최종 보상을 턴 수준의 정밀한 신호로 변환하여 에이전트의 학습 효율과 일반화 성능을 높입니다.
6월 9일0
arXiv논문
멀티홉 지식 합성 (Multi-Hop Knowledge Composition)은 사전 학습 노출 (Pretraining Exposure)에
LLM이 개별 사실을 알고 있음에도 이를 결합해 추론하는 멀티홉 추론에 실패하는 현상을 분석합니다. 연구 결과, 이러한 실패는 지식의 부재가 아닌 사전 학습 과정에서 합성적 문맥에 노출되지 않았기 때문임을 입증했습니다.
6월 9일0
arXiv논문
대규모 언어 모델(LLM)을 이용한 여론 데이터 결측치 보정(Imputation)을 위한 인컨텍스트 러닝(In-Context Learning)
본 연구는 LLM의 인컨텍스트 러닝(ICL)을 활용하여 설문 데이터의 결측치를 보정하는 새로운 방법을 제안합니다. 다양한 결측 메커니즘 환경에서 기존 통계적 방법론인 MICE PMM보다 우수한 성능을 보였으며, 특히 비무작위 결측(MNAR) 상황에서 큰 개선을 입증했습니다.
6월 9일0
arXiv논문
경험이 숙련도를 만든다: 자기 진화형 기술 메모리를 통한 일반화 가능한 의료 에이전트 추론 구현
SkeMex는 모델 가중치 업데이트 없이 기술 기반 메모리를 통해 의료 에이전트를 개선하는 자기 진화 프레임워크입니다. 상호작용 궤적을 구조화된 기술로 증류하고, 환경 피드백을 통해 유용한 메모리를 선별적으로 관리하여 임상 추론 능력을 강화합니다.
6월 9일0
arXiv논문
텍스트만 있으면 충분한가? Speech LLM을 위한 보편적 정보 병목으로서의 텍스트
음성 신호를 동결된 LLM에 통합할 때 발생하는 정보 손실 문제를 해결하기 위해 Convex Gate(C-Gate)를 제안합니다. C-Gate는 음성 표현을 LLM의 임베딩 매니폴드 내 볼록 조합으로 제한하여 연속적인 표현력과 모델 호환성을 동시에 확보합니다.
6월 9일0
arXiv논문
정밀도는 충실도가 아니다: 완전한 오라클(Oracle)을 통한 근거 기반 생성의 커버리지 인식 평가
기존의 참조 없는 충실도 지표가 정밀도(Precision)에만 치중되어 모델의 절제(Abstention) 현상을 보상하는 문제를 지적합니다. F1 레이스 및 기상 예보 데이터를 활용해 재현율(Recall)을 포함한 커버리지 인식 평가의 필요성을 입증하고 새로운 지표를 제안합니다.
6월 9일0
arXiv논문
Reasoning Arena: 검증 가능한 보상이 부족할 때의 추론 토너먼트 (Trace Tournaments)
검증 가능한 보상이 동일하여 학습 신호가 부족한 문제를 해결하기 위해 Reasoning Arena 프레임워크를 제안합니다. 판사 시스템을 통해 추론 과정 간의 세밀한 선호도를 비교하는 '추론 토너먼트'를 구성하여 효율적인 강화학습을 가능하게 합니다.
6월 9일0
arXiv논문
PriFT: 사전 지식 지원 기반의 지도 미세 조정 (Prior-Support Guided Supervised Fine-Tuning)
SFT 과정에서 발생하는 과적합 문제를 해결하기 위해, 동결된 사전 학습 모델의 분포를 활용하는 PriFT 기법을 제안합니다. 모델의 사전 지식을 왜곡하지 않도록 토큰 가중치를 재설정하여 일반화 성능과 RL 초기화 상태를 개선합니다.
6월 9일0
arXiv논문
LexRubric: 개방형 법률 과업을 위한 루브릭 기반 진단 벤치마크
LLM의 개방형 법률 응답 신뢰성을 평가하기 위한 루브릭 기반 벤치마크인 LexRubric을 소개합니다. 649개의 법률 인스턴스와 12,337개의 세밀한 채점 기준을 통해 모델의 오류 원인을 정밀하게 진단합니다.
6월 9일0