Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
루프형 트랜스포머와 Mixture-of-Experts (MoE)를 위한 스케일링 법칙
본 연구는 루프형 트랜스포머와 Mixture-of-Experts (MoE)의 효율적인 확장을 위한 새로운 'Loop Scaling Laws'를 제안합니다. 이 법칙은 순환 구조(recurrence)와 희소성(sparsity)을 모델 크기, 데이터와 함께 공동으로 모델링하여 성능 예측의 정확도를 높였습니다. 이를 통해 컴퓨팅 및 메모리 제약 조건 하에서 루프형 MoE 모델 설계의 이론적 기반을 마련했습니다.
10월 7일1
arXivAI 번역논문
제로샷 의료 초록 분류를 위한 DeBERTa-v3 비교 설명 가능성 프레임워크
본 연구는 의료 초록의 제로샷 분류 환경에서 DeBERTa-v3 모델을 평가하기 위한 비교 설명 가능성 프레임워크를 제시합니다. SHAP, LIME 등 다양한 기여도 방법론들을 비교하고, 예측 정확도와 함께 설명 가능성의 안정성을 정량적으로 분석했습니다. 그 결과, 임상 온톨로지 기반의 분류가 더 효과적이며, 모델 감사 시 여러 방법을 결합하는 것이 중요함을 보여줍니다.
10월 7일1
arXivAI 번역논문
Where-OPD: 합성 장면을 이용한 MLLM의 공간 안내 기반 온정책 자기 증류
본 논문은 MLLMs의 공간 안내 기반 온정책 자기 증류(on-policy self-distillation) 방식을 제안합니다. 기존 방식이 이미지 크롭 등 시각적 확대에 국한된 반면, 본 연구는 텍스트적/공간적으로 접지된 안내를 활용하여 확장 가능하고 주석이 필요 없는 후속 학습을 가능하게 합니다. 합성 장면만으로도 실제 세계 인식 벤치마크에서 높은 전이 성능을 입증했습니다.
10월 7일1
arXivAI 번역논문
메모리 경로 균형 맞추기: 하이브리드 LM의 메모리 활용 분석 및 개선
본 연구는 리커런트-어텐션 하이브리드 LM의 메모리 활용 불균형 문제를 분석했습니다. 모델들이 순환 레이어보다 어텐션에 과도하게 의존하는 현상을 발견하고, 이를 개선하기 위해 보조 손실(auxiliary loss)을 제안합니다. 이 방법은 두 메모리 경로를 균형 있게 사용하도록 유도하여 장기 컨텍스트 및 정보 집계 작업에서 성능 향상을 가져옵니다.
10월 7일1
arXivAI 번역논문
ufakzeka-karar: 순서 불변 옵션 점수화가 가능한 오픈 터키어 유형 결정 모델
ufakzeka-karar는 오픈 터키어 결정 모델로, 182M 파라미터를 가집니다. 이 모델은 주어진 텍스트와 고정된 답변 유형의 질문(선택지, 순서형 척도 등)에 대해 텍스트를 생성하지 않고 확률 점수를 산출하는 것이 특징입니다.
10월 7일1
arXivAI 번역논문
IdeaLens: 장문 작성물에서 AI 아이디어 탐지
IdeaLens는 문서의 단어 출처가 아닌, 아이디어 자체의 출처(idea provenance)를 식별하는 새로운 AI 감지기입니다. 이 모델은 문서를 개요로 변환하여 표면적인 텍스트 중복을 최소화하고 아이디어에 초점을 맞춥니다. 실험 결과, IdeaLens는 기존의 단어 기반 감지기보다 인간과 AI가 구상한 아이디어를 더 정확하게 구분하는 성능을 보였습니다.
10월 7일1
arXivAI 번역논문
T-Search: 어려운 다단계 검색을 위한 개방형 에이전트 리트리버 및 플레이그라운드
T-Search는 복잡한 다단계 검색을 위해 설계된 오픈 웨이트 에이전트 리트리버입니다. 이 도구는 주어진 질문과 코퍼스 기반의 제한적 다회전 검색을 수행하고, 근거 설명이 포함된 순위화된 증거 청크를 제공합니다. T-Search는 Qwen3.6-35B-A3B를 기반으로 훈련되었으며, 여러 벤치마크에서 높은 Recall@10 성능을 입증했습니다.
10월 7일1
arXivAI 번역논문
Paradee: Kokoro-82M을 8M 파라미터 단일 음성 Text-to-Speech 모델로 증류하기
본 글은 54개 목소리를 가진 대규모 TTS 모델 Kokoro-82M을 단일 음성으로 증류하여 8.07M 파라미터의 Paradee를 개발한 내용을 다룹니다. 이 과정에서 계산량과 파라미터를 크게 줄였으며, int8 양자화와 간단한 구조로 노트북에서도 실시간 구동이 가능하게 했습니다.
10월 7일1
arXivAI 번역논문
PlotGround: 실제 과학 논문 및 원본 데이터에서 플롯 디지털화 구현
과학 논문의 플롯 디지털화는 연구 결과 검증 및 재사용에 필수적이지만, 기존 벤치마크의 한계가 있었습니다. 본 글은 실제 과학 논문과 원본 데이터를 활용하여 PlotGround라는 자동화된 파이프라인을 구축하고, 이를 통해 인간 검증 벤치마크인 PlotGround-1k를 개발했습니다. 이 연구는 플롯 복구 정확도와 원본 데이터 기반 비교의 중요성을 입증합니다.
10월 7일0
arXivAI 번역논문
CLIFT: 웹 에이전트 학습 및 테스트 시간 스케일링을 위한 공형적 자체 검증
본 논문은 웹 에이전트의 학습 및 테스트 시간을 효율적으로 확장하기 위한 'CLIFT'라는 방법을 제안합니다. CLIFT는 공형적 자체 검증(conformal self-verification)을 기반으로 하며, 에이전트가 롤아웃에 대해 자연어 질문에 답하며 스스로를 검증하는 과정을 거칩니다. 이를 통해 비용이 많이 드는 외부 심사위원의 피드백 없이도 신뢰할 수 있는 학습 및 테스트 평가가 가능해집니다.
10월 7일0
arXivAI 번역논문
MemPilot: LLM 에이전트를 위한 온디맨드 멀티모달 메모리 큐레이션 오케스트레이션
MemPilot은 LLM 에이전트가 상호작용 전반에 걸쳐 정보를 효율적으로 보존하고 재사용하기 위한 온디맨드 멀티모달 메모리 큐레이션 오케스트레이션 프레임워크입니다. 이 시스템은 강화학습(RL)을 활용하여, 성능-비용-지연 시간 등 다양한 목표 선호도에 따라 최적의 메모리 검색 및 큐레이션 방식을 동적으로 선택합니다. 이를 통해 에이전트 컴퓨팅 자원의 세밀한 할당과 효율적인 트레이드오프 관리가 가능해집니다.
10월 7일0
arXivAI 번역논문
에이전트 로봇을 위한 재귀적 비디오 인컨텍스트 학습 (RV-ICL)
본 논문은 에이전트 로봇의 성능을 높이기 위해 '재귀적 비디오 인컨텍스트 학습(RV-ICL)'이라는 새로운 방법을 제안합니다. RV-ICL은 데모 영상을 단순한 프롬프트가 아닌, 계층적인 구조로 변환하여 에이전트에게 제공합니다. 이 구조는 전체 과제부터 세부 접촉 디테일까지 점진적으로 정보를 깊게 탐색할 수 있게 합니다.
10월 7일0
arXivAI 번역논문
기반 모델이 훈련 데이터의 단서(cue)를 활용하여 추론하는 방식 연구
본 논문은 기반 모델이 훈련 데이터의 시작 토큰 단서(cues)를 활용하여 추론하는 방식을 연구합니다. 특정 시작 단서만으로도 수학 및 코딩 분야에서 강화학습을 거친 동급 모델과 경쟁할 수 있음을 입증했습니다. 또한, 이 단서들이 추론에 미치는 영향을 인과적 데이터 개입을 통해 분석하고 안전성 측면까지 확장하여 논의합니다.
10월 7일0
arXivAI 번역논문
망각이 치명적이지 않을 때: 가짜 망각의 메커니즘에 대하여
본 논문은 언어 모델의 파인튜닝 과정에서 발생하는 '가짜 망각(spurious forgetting)' 현상을 분석합니다. 지식 손실이 항상 영구적이지 않으며, 일부는 회복될 수 있음을 밝힙니다. 이러한 역동성은 최소 연관 기억 구조와 정규화 과정을 통해 재현 가능하며, 망각의 메커니즘을 이해하는 것이 중요하다고 제안합니다.
10월 7일1
arXivAI 번역논문
IdeaAnchor: 문헌을 연구 아이디어로 변환하는 LLM 학습 방법
본 논문은 문헌 기반 아이디어 구상 능력을 LLM에 학습시키는 'IdeaAnchor' 패러다임을 제안합니다. 이 방법은 구조화된 명세(structured specifications)를 특권적 신호로 활용하여, 입력 논문들이 성공적인 아이디어를 만들기 위해 어떻게 종합되어야 하는지 모델을 훈련시킵니다. 데모니스트레이션, 셀프-디스티일레이션, RL 등을 통해 학습시킨 결과, 창의적 종합 능력과 세부 사항 정교화 능력을 모두 향상시키는 것이 효과적임을 입증했습니다.
10월 7일1
arXivAI 번역논문
정답과 유효하지 않은 추적: 검증 가능한 초등 수학이 Chain-of-Thought 추적이 밝히는 것
본 연구는 초등 수학 벤치마크 iGSM을 사용하여 Chain-of-Thought(CoT) 추적의 신뢰성을 검증했습니다. CoT가 항상 정확한 해결책과 유효하게 연결되는 것은 아니며, 특히 어려운 문제에서는 상당수의 정답이 유효하지 않은 추적을 가질 수 있음을 발견했습니다. 이는 AI 안전 및 해석 가능성 측면에서 중요한 함의를 제시합니다.
10월 6일2
arXivAI 번역논문
효율성을 위한 가지치기(Pruning)와 공정성 비용: 가지치기된 Speech-LLM의 인구통계학적 불균형
본 연구는 Speech-LLM 압축(가지치기) 과정에서 발생하는 인구통계학적 불균형 문제를 다룹니다. 기존의 종합 WER 지표만으로는 가지치기가 특정 그룹에 미치는 영향을 파악하기 어려우며, 실제 배포 시 공정성 문제가 발생할 수 있음을 발견했습니다.
10월 6일2
arXivAI 번역논문
로컬 믹싱이 글로벌 NoPE 어텐션에서 상대적 위치를 인코딩하는 방식
본 논문은 어텐션 연산이 본질적으로 위치 불변함에도 불구하고, SWA나 게이티드 선형 어텐션 같은 로컬 믹싱 레이어가 글로벌 NoPE 어텐션에서 어떻게 위치 정보를 암묵적으로 인코딩하는지 설명합니다. 핵심 주장은 이들이 잔차 스트림에 '최근성 편향(recency bias)'을 유도하며, 이것이 전역 어텐션 로짓으로 전달되어 작동한다는 것입니다.
10월 6일2
arXivAI 번역논문
라우팅 신호에서 선택적 재검토까지: MoE VLM에서의 시각적 재접지
본 논문은 Vision-language models (VLMs)이 대상 객체 부재 시 잘못된 시각적 전제를 수용하는 문제를 다룹니다. MoE VLM의 내부 라우팅 결정(internal routing decisions)을 활용하여, 생성 전에 대상 부재를 탐지하고 선택적으로 교정하는 새로운 프레임워크를 제시했습니다. 이를 통해 모델 가중치 수정 없이도 높은 정확도로 시각적 인지를 개선할 수 있음을 입증했습니다.
10월 6일2
arXivAI 번역논문
LongHarness 벤치마크: 장문 컨텍스트 추론을 위한 언어 모델 하네스 스트레스 테스트
본 논문은 장문 컨텍스트에서 언어 모델의 효과성과 효율성을 동시에 평가할 수 있는 새로운 벤치마크를 제안합니다. 이 벤치마크는 어휘 검색과 의미 일치를 포함하는 다양한 검색 전략을 요구하며, 전역적/국소적 추론 능력을 테스트합니다. 연구 결과, 동일한 모델도 하네스에 따라 성능 편차가 크며, 효율성을 평가할 중요성이 강조되었습니다.
10월 6일0