Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
분포 최적화 합성을 통한 LLM 지식 경계 확장
LLM의 지식 경계를 확장하기 위해 지식 분포를 최적화하는 합성 데이터 프레임워크인 KDoS를 제안합니다. 기존의 고정된 방식 대신 지식 밀도를 고려한 3단계 피드백 메커니즘을 통해 효율적인 지식 주입을 구현합니다.
6월 23일1
arXivAI 번역논문
Root Memories를 향하여: 개인화된 LLM을 위한 암시적 논리적 메모리 검색 벤치마킹 및 향상
개인화된 LLM을 위해 의미적 유사성을 넘어 논리적 메모리를 검색하는 IMLogic 벤치마크와 RootMem 프레임워크를 제안합니다. RootMem은 사용자 이력에서 재사용 가능한 논리를 추출하여 기존 검색 방식의 한계를 극복합니다.
6월 23일1
arXivAI 번역논문
생성형 음성 언어 모델의 음성 재합성 및 연속성에 미치는 세그멘테이션 너비와 클러스터 크기의 영향에 관한 연구
본 논문은 생성형 음성 언어 모델(GSLM)에서 세그멘테이션 너비와 클러스터 크기가 음성 재합성 및 연속성에 미치는 영향을 연구합니다. 낮은 비트레이트 설정에서도 자연스러운 음성 합성이 가능함을 입증하며, 기존 설정의 중복성을 지적합니다.
6월 23일1
arXivAI 번역논문
CTC 오라클 갭(Oracle Gap)의 해부: 음향적 고갈과 언어적 회복
CTC 내부 점수 산정 방식의 한계인 '오라클 갭'을 분석하고, 음향적 정보의 포화 문제를 지적합니다. 연구 결과, 음향 신호 재조합만으로는 한계가 있으며 RoBERTa를 활용한 외부 언어 정보 도입이 성능 개선의 핵심임을 입증했습니다.
6월 23일1
arXivAI 번역논문
오염 제거를 위한 불확실성 기반 디바이아싱(Debiasing) 및 언러닝(Unlearning)
데이터 오염이 LLM 성능 평가를 왜곡하는 문제를 해결하기 위해, 불확실성을 활용한 새로운 오염 제거(Decontamination) 프레임워크를 제안합니다. 앙상블 불확실성을 통해 샘플별 암기 정도를 추정하고, 디바이아싱 또는 언러닝을 통해 모델의 출력 분포를 교정하는 방법론을 다룹니다.
6월 23일0
arXivAI 번역논문
WaveDetect: 웨이브릿 변환(Wavelet Transform)을 통한 기계 생성 텍스트 탐지를 위한 강건한 프레임워크
WaveDetect는 웨이브릿 변환(CWT)을 활용하여 LLM 생성 텍스트를 탐지하는 새로운 프레임워크입니다. 텍스트를 확률 신호로 모델링하여 시간-주파수 영역의 스펙트럼 지문을 분석함으로써, 기존 탐지기가 취약했던 적대적 공격과 도메인 변화에 대해 강력한 성능을 보여줍니다.
6월 23일1
arXivAI 번역논문
자기 낙인은 단일한 개념이 아니지만, 일반적 공감은 그러하다: 약물 사용자(PWUD)를 위한 페르소나 조건부 LLM 지원
약물 사용자의 자기 낙인 유형을 4가지 페르소나로 분류하고, 이를 기반으로 LLM의 응답을 최적화하는 연구를 제시합니다. 연구 결과, 페르소나 맞춤형 응답이 행동 변화에는 효과적이었으나 임상 전문가들은 일반적 공감을 더 선호하는 불일치를 보였습니다.
6월 23일1
arXivAI 번역논문
LLM 임베딩 공간은 전문가의 구조를 복원할 수 있는가?
LLM 임베딩 공간이 정신 건강 전문가가 정의한 증상 구조를 얼마나 정확하게 복원할 수 있는지 연구했습니다. Qwen 모델을 통해 사전 학습 및 미세 조정된 임베딩이 전문가의 범주 기하학적 구조와 정렬됨을 확인했습니다.
6월 23일1
arXivAI 번역논문
TriggerBench: 대규모 언어 모델(LLMs)의 미래 기억(Prospective Memory) 조사
LLM의 미래 기억(Prospective Memory) 능력을 평가하기 위한 새로운 벤치마크인 TriggerBench를 소개합니다. 기존의 회고적 기억 중심 평가에서 벗어나, 모델이 자발적으로 제약 사항을 회상하고 실행하는 능력을 5가지 차원에서 정밀하게 측정합니다.
6월 23일1
arXivAI 번역논문
자기 압축 언어 모델 에이전트 (Self-Compacting Language Model Agents)
에이전트의 긴 추적 데이터로 인한 컨텍스트 초과 문제를 해결하기 위해 모델 스스로 압축 시점을 결정하는 SelfCompact 프레임워크를 제안합니다. 압축 도구와 경량 루브릭을 결합하여 미세 조정 없이도 효율적인 적응형 압축을 구현합니다.
6월 23일1
arXivAI 번역논문
LangMAP: 언어 적응형 토큰화 (Tokenization) 접근 방식
LangMAP은 단일 공유 어휘 사전에서 언어별 토큰화를 생성하는 새로운 접근 방식을 제안합니다. 사전 학습된 모델의 어휘 사전을 변경하지 않고도 개별 언어에 적응시킬 수 있으며, 추론 시 언어 라벨 없이도 작동하는 것이 특징입니다.
6월 23일1
arXivAI 번역논문
LLM이 적대적 프리필(Adversarial Prefills)을 신뢰성 있게 자기 보고할 수 있는가, 그리고 어떻게 가능한가?
LLM이 적대적 프리필 공격에 의해 유도된 자신의 응답을 얼마나 신뢰성 있게 인식할 수 있는지 조사한 연구입니다. 실험 결과 대부분의 모델이 공격을 인지하지 못했으며, 미세 조정(SFT, GRPO, DPO)을 통한 개선 시도도 공격 성공률을 높이는 부작용을 보였습니다.
6월 23일1
arXivAI 번역논문
평가 인지 능력은 단일 역량이 아니다: 오픈 언어 모델로부터의 증거
오픈 웨이트 모델들이 평가 신호를 감지하여 벤치마크 성능을 과장하는 '벤치마크 환상' 현상을 규명합니다. 모델의 탐지, 행동 발현, 제어 가능성이 독립적인 다변량 특성을 가짐을 실험적으로 증명했습니다.
6월 23일1
arXivAI 번역논문
Randomized YaRN은 긴 문맥 추론을 위한 길이 일반화(Length Generalization)를 개선한다
Randomized YaRN은 무작위 위치 인코딩과 길이 커리큘럼을 결합하여 LLM의 긴 문맥 추론 성능을 개선하는 새로운 학습 방법을 제안합니다. 짧은 문맥 데이터로 학습할 때 모델이 더 넓은 위치 범위에 노출되도록 하여, 학습 시보다 훨씬 긴 문맥에서도 뛰어난 일반화 성능을 보여줍니다.
6월 23일1
arXivAI 번역논문
PeerCheck: LLM 생성 학술 리뷰를 인간 수준의 품질로 향상시키기
LLM이 생성한 학술 리뷰의 품질을 인간 수준으로 높이기 위한 PeerCheck 프레임워크를 제안합니다. CoT와 RAG를 활용해 리뷰 품질을 개선하는 과정을 탐구하며, RAG가 오히려 품질을 저하시킬 수 있는 'RAG 역설'을 발견했습니다.
6월 23일1
arXivAI 번역논문
제약된 증거 선택을 통한 주제-타임스탬프 정렬
회의 기록 검색 시 주제와 타임스탬프를 정확히 정렬하기 위한 새로운 연구를 소개합니다. LLM이 임의의 시간을 생성하는 대신, 검색된 후보군 중에서 최적의 시간을 선택하는 '제약된 후보 선택' 방식을 통해 정확도를 높였습니다.
6월 23일1
arXivAI 번역논문
Storyline Trees: 긴 서사(Long-Form Narratives)를 위한 계층적 표현
긴 서사 구조를 효과적으로 처리하기 위해 계층적 표현 방식인 'Storyline Trees'를 제안합니다. 챕터를 장면 단위로 분할하고 상하향식 절차를 통해 트리를 구축하여, 긴 문맥 모델의 질의응답 성능을 높이는 적응형 검색을 가능하게 합니다.
6월 23일1
arXivAI 번역논문
잠재적 개인 메모리 (Latent Personal Memory): 개인의 메모리를 동적인 소프트 프롬프트 (soft prompts)로 표현하기
사용자의 장기적 행동 패턴을 동적인 소프트 프롬프트로 인코딩하는 '잠재적 개인 메모리(LPM)' 프레임워크를 제안합니다. 동결된 LLM을 유지하면서도 LoRA나 프롬프트 튜닝보다 높은 효율성과 성능을 보여줍니다.
6월 23일1
arXivAI 번역논문
토큰 수준에서의 Transformer와 하이브리드 모델 비교
Transformer와 순환 레이어를 결합한 하이브리드 언어 모델의 성능 이득을 토큰 수준에서 분석한 연구입니다. Olmo 3와 Olmo Hybrid 모델을 통해 하이브리드 모델이 의미론적 상태 추적에는 유리하지만, 특정 구문론적 작업에서는 Transformer가 더 우세함을 밝혀냈습니다.
6월 23일1
arXivAI 번역논문
LLM 내부 들여다보기: 법률 분류의 신뢰성 향상을 위한 LLM 내부 아티팩트(Internal Artifacts) 활용
법률 분야에서 LLM의 환각 현상을 방지하기 위해 모델 내부 아티팩트를 활용하는 연구를 소개합니다. 내부 특징을 추출하여 부정확한 출력을 식별하는 분류기를 구축함으로써 법률 분류 작업의 신뢰성을 높이는 방법을 제안합니다.
6월 23일1