Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
동적 선형 어텐션 (Dynamic Linear Attention)
표준 어텐션의 이차 복잡도 문제를 해결하기 위해 제안된 DLA(Dynamic Linear Attention) 프레임워크를 소개합니다. DLA는 고정된 상태 병합 방식의 한계를 극복하여 토큰의 중요도에 따라 메모리를 동적으로 관리하고 정보 손실을 최소화합니다.
6월 10일0
arXivAI 번역논문
자기지도 학습 음성 인식 모델에서의 화자 그룹 인코딩
자기지도 학습 음성 인식 모델(S3Ms)이 성별, 연령, 인종 등 다양한 화자 그룹 정보를 어떻게 인코딩하는지 분석한 연구입니다. 미세 조정 방식에 따라 음성학적 또는 의미론적 정보의 유지 여부가 달라짐을 밝히고, 공정성 향상 알고리즘의 영향을 조사했습니다.
6월 10일0
arXivAI 번역논문
우리는 지식을 평가하는가, 아니면 표현 방식을 평가하는가? ParaEval을 통한 MCQA 민감도 완화
MCQA 벤치마크가 정답의 표현 방식에 민감하게 반응하여 모델의 실제 능력을 왜곡하는 문제를 지적합니다. 이를 해결하기 위해 패러프레이즈를 활용하여 성능 격차를 줄이는 새로운 평가 프레임워크 ParaEval을 제안합니다.
6월 10일0
arXivAI 번역논문
자기지도 표현(Self-Supervised Representations)과 학습된 동적 계획법(Learned Dynamic
MMS 모델과 자기지도 음소 경계 탐지기를 결합하여 다국어 단어 수준 강제 정렬을 수행하는 새로운 방법을 제안합니다. 학습된 동적 계획법을 통해 단어 경계를 추론하며, 기존 MFA 및 MMS 기반 방식보다 뛰어난 성능을 입증했습니다.
6월 10일0
arXivAI 번역논문
Infini Memory: 장기 LLM 에이전트 메모리를 위한 유지 관리 가능한 주제별 문서화
장기 LLM 에이전트의 지속적인 메모리 문제를 해결하기 위해 주제 구조화된 문서 기반의 Infini Memory 아키텍처를 제안합니다. 이 시스템은 메모리를 의미론적 단위로 관리하여 사실 수정과 증거 집계를 용이하게 하며, 반복적인 도구 호출을 통해 효율적인 검색을 수행합니다.
6월 10일0
arXivAI 번역논문
REAL: LLM의 장기 기억 관리를 위한 추론 강화 그래프 프레임워크
LLM의 컨텍스트 제한 문제를 해결하기 위해 장기 기억 관리를 위한 새로운 그래프 프레임워크인 REAL을 제안합니다. REAL은 시간적·신뢰도 인식 유향 속성 그래프를 사용하여 사실의 진화 과정을 비파괴적으로 추적하고 효율적인 메모리 서브그래프를 추출합니다.
6월 10일0
arXivAI 번역논문
지속적 LLM 업사이클링: Dense-to-Sparse LLM을 위한 예측기 게이트 방식의 뱅크 단위 희소성 학습 레시피
Dense 체크포인트에서 채널 희소(channel-sparse) LLM을 구축하기 위한 지속적 학습 방법론을 제안합니다. 예측기 게이트 방식을 통해 FFN 채널을 효율적으로 라우팅하여 4배의 희소성을 구현하며, 긴 컨텍스트 성능을 개선하는 알고리즘을 포함합니다.
6월 10일0
arXivAI 번역논문
ArabiGEE: 아랍어 문법 오류 설명을 위한 계층적 분류 체계
아랍어 문법 오류 설명(GEE)을 위한 최초의 계층적 분류 체계인 ArabiGEE를 제안합니다. 철자, 형태, 통사, 어휘 차원을 아우르는 구조를 통해 LLM의 자동 평가를 지원하며, 관련 코드와 데이터를 공개합니다.
6월 10일0
arXivAI 번역논문
비지도 학습 기반 용어 발견에서의 Zipf 분포 회복
비지도 용어 발견 시 K-means와 같은 중심 기반 클러스터링이 Zipf 분포를 재현하지 못하는 문제를 지적합니다. 그래프 기반 클러스터링과 Leiden 알고리즘을 활용하여 실제 어휘 사전의 분포에 더 가까운 성능을 구현하는 방법을 제안합니다.
6월 10일0
arXivAI 번역논문
RedAct: 절차적 기술 보호를 위한 에이전트 능력 추적 데이터의 비식별화
에이전트의 실행 추적 데이터에서 개인의 절차적 기술 유출을 방지하기 위한 RedAct 프레임워크를 제안합니다. CapTraceBench 벤치마크를 통해 보안 성능을 평가하며, 감사 증거를 보존하면서도 핵심 기술 노출을 효과적으로 차단합니다.
6월 10일0
arXivAI 번역논문
ConvMemory v2: 대화형 메모리 검색을 위한 재현율 보존형 Top-10 증거 재순위화 모델 (Reranker)
ConvMemory v2는 대화형 메모리 검색을 위해 상위 10개 후보를 재정렬하는 경량 재순위화(Reranker) 모델입니다. ms-marco-MiniLM-L-6-v2를 미세 조정하여 Recall@10을 유지하면서도 MRR과 H@1 성능을 크게 향상시켰습니다.
6월 10일0
arXivAI 번역논문
중력 가중치 직접 선호 최적화(Gravity-Weighted Direct Preference Optimization)를 통한 다단계 지시 계층
LLM의 지시 사항 충돌 문제를 해결하기 위해 k-단계 지시 계층 구조를 공식화하고, GW-DPO(Gravity-Weighted DPO) 방법론을 제안합니다. 이 방식은 계층 간 구조적 거리에 따라 가중치를 조절하여 모델이 우선순위를 더 정확히 준수하도록 돕습니다.
6월 10일0
arXivAI 번역논문
경험적 지식 통합 및 활성화를 통한 LLM 도구 호출(Tool Calling)의 한계 돌파
LLM의 도구 호출 성능을 높이기 위해 지식 습득, 활성화, 내재화 단계를 다루는 KATE 프레임워크를 제안합니다. 추론 너비를 확장하는 병렬 샘플링과 지식 인지 훈련을 통해 다단계 실행 오류를 효과적으로 해결합니다.
6월 10일0
arXivAI 번역논문
필요한 것만 추적하라: 긴 문서 질의응답을 위한 구조 인식 온디맨드 하이퍼그래프 메모리
긴 문서 QA의 한계를 극복하기 위해 문서 구조를 인식하고 온디맨드 하이퍼그래프 메모리를 사용하는 DocTrace 프레임워크를 제안합니다. 이 방식은 문서 계층 구조를 보존하고 추론 경험을 재사용하여 성능을 높이고 비용을 절감합니다.
6월 10일0
arXivAI 번역논문
모두를 편향되게 만드는 데는 하나면 충분하다: One-Shot GRPO를 통한 가드레일 무력화
본 연구는 Group Relative Policy Optimization(GRPO)을 통해 LLM의 정렬(alignment) 가드레일이 얼마나 쉽게 무력화될 수 있는지 분석합니다. 단 하나의 편향된 사례를 통한 One-Shot GRPO 학습만으로도 모델이 체계적인 편향을 보이며, 이것이 다양한 벤치마크로 일반화될 수 있음을 경고합니다.
6월 10일0
arXivAI 번역논문
PsychoSafe: 대규모 언어 모델(LLM)에서 심리학적 근거를 바탕으로 한 거절 유도
PsychoSafe는 LLM이 고위험 요청을 거절할 때 심리학적 근거를 바탕으로 지원적 의사소통을 수행하도록 설계된 프레임워크입니다. Qwen 3.5 27B 모델에 프롬프팅과 미세 조정을 적용하여 거절의 품질과 외부 리소스 참조 능력을 크게 향상시켰습니다.
6월 9일0
arXivAI 번역논문
중립적 마스크: RLHF가 대규모 언어 모델(LLM)에서 당파적 구조를 유지한 채 어떻게 얕은 정렬(Shallow Alignment)을
RLHF가 LLM의 내부 당파적 구조를 제거하는 것이 아니라, 출력 단계에서 인과적 경로를 차단하여 기능적 중립성만을 구현한다는 연구입니다. Llama 3.1 8B를 통해 RLHF가 깊은 정렬 대신 얕은 정렬(Shallow Alignment)을 생성함을 기계론적으로 증명했습니다.
6월 9일0
arXivAI 번역논문
IS-CoT: 교차 구조적 사고를 통한 장문 생성 붕괴 현상 해결
LLM의 장문 생성 시 발생하는 길이 붕괴 현상을 해결하기 위해 IS-CoT 프레임워크를 제안합니다. 생성 과정 내에 '계획-작성-성찰' 사이클을 내장하여 동적인 전략 적응을 가능하게 하며, 이를 통해 학습된 IS-Writer-8B는 장문 벤치마크에서 뛰어난 성능을 입증했습니다.
6월 9일0
arXivAI 번역논문
형식 언어 작업의 학습 가능성에 대한 인과적 평가
언어 모델의 작업별 데이터 필요량과 학습 가능성 사이의 관계를 인과적으로 분석한 연구입니다. 형식 언어를 활용한 통제된 환경에서 상관관계 분석의 한계를 지적하고, 인과적 개입을 통한 정확한 학습 가능성 측정 방법론을 제안합니다.
6월 9일0
arXivAI 번역논문
NüshuVoice: 피치 인식 텍스트 음성 변환(TTS)을 통한 멸종 위기 누서(Nüshu)의 목소리 복원
멸종 위기 문자인 누서(Nüshu)의 음향적 재구성을 위한 최초의 TTS 벤치마크인 NüshuVoice를 소개합니다. 저자원 환경을 극복하기 위해 피치 표기법을 활용한 Nüshu-PitchVITS 모델을 제안하며, 기존 모델보다 뛰어난 음성 합성 성능을 입증했습니다.
6월 9일0