Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
EngramEdit: 조건부 메모리를 통한 LLM의 분리된 지식 업데이트
EngramEdit은 조건부 메모리를 활용하여 LLM의 사실적 지식을 독립적으로 업데이트하는 새로운 아키텍처입니다. 이 방법은 목표 메모리 표현을 계산하고, 이를 기반으로 공유되는 n-gram 임베딩을 공동 업데이트합니다. 실험 결과, EngramEdit은 높은 편집 성공률과 함께 다단계 추론 및 CoT 프롬프팅에서 강력한 성능 향상을 입증했습니다.
10월 8일1
arXivAI 번역논문
전문가 안내 기반 증명 탐색에서 자동화된 미해결 문제 해결까지
본 글은 LLM이 수학 연구에 기여하는 방식을 다루며, 다중 에이전트 오픈 소스 시스템인 Bolzano을 소개합니다. 이 시스템은 verifier agent와 병렬 prover agents를 활용하여 사람이 읽기 쉬운 연구 상태를 유지합니다. 초기 전문가 안내 기반 사용 이후, 3,800개의 미해결 문제 중 약 200개를 성공적으로 해결하는 성과를 보여주었습니다.
10월 8일1
arXivAI 번역논문
잠재 공간에서의 평가: 의미 보존 압축을 통한 효율적인 생성적 보상 모델링
본 논문은 의미 보존 압축을 통해 효율적인 생성적 보상 모델링 프레임워크인 LatentGRM을 제안합니다. LatentGRM은 텍스트 평가를 직접 생성하지 않고도 자율적인 쌍별 판단을 지원하는 연속 궤적을 학습하여, 추론 비용을 크게 절감합니다. 이는 경쟁력 있는 판단 품질을 유지하면서 효율성을 높이는 방법을 제시합니다.
10월 8일1
arXivAI 번역논문
귀를 먹먹하게 하는 침묵: 데이터가 말하지 않은 토큰의 출력 임베딩에 남아있는 치명적 망각
본 논문은 LLM의 지속적인 사전 학습 및 미세 조정 과정에서 발생하는 '치명적 망각' 현상을 분석했습니다. 연구진은 망각이 특정 토큰의 출력 임베딩에 국소적으로 집중됨을 밝혀냈으며, 이는 코퍼스의 어휘 부족과 관련 깊습니다. 이를 해결하기 위해 훈련 중 출력 투영(output projection)에 대한 Adam의 $\epsilon$ 값을 높이는 개입을 제안했고, 이 방법이 다양한 모델에서 높은 망각 제거율을 보였습니다.
10월 8일1
arXivAI 번역논문
MIRROR: 모방에서 내재화로의 LLM 개인화
본 논문은 LLM 개인화가 단순한 스타일 모방을 넘어 사용자 선호도 내재화로 진화해야 한다고 주장합니다. 이를 위해 MIRROR라는 새로운 자체 증류 프레임워크를 제안하며, 참조 토큰 모방을 온정책 자체 증류로 대체하여 사용자의 고유 표현과 선호도를 모델에 깊이 내재화하는 방법을 제시했습니다.
10월 8일1
arXivAI 번역논문
작업 결과로부터 LLM 에이전트를 위한 어드바이저 훈련
본 논문은 LLM 에이전트의 성능 향상을 위해 'Caddie'라는 비평가(critic) 훈련 방법을 제안합니다. Caddie는 작업 진행 중 자연어 분석과 조언을 제공하는 비평가를, 최종 성공 여부로부터 학습하도록 강화학습으로 최적화합니다. 이 방법은 다양한 기본 모델에 적용 가능하며, MuSiQue 벤치마크에서 기존 대비 높은 성능 향상을 입증했습니다.
10월 8일1
arXivAI 번역논문
LiveMACE: 진화하는 시장에서 LLM 에이전트 역량의 프로세스 기반 평가
본 글은 LLM 에이전트를 단순히 최종 결과로만 평가하는 한계를 지적하며, 실시간 금융 시장을 활용한 프로세스 기반 벤치마크 'LiveMACEBench'를 제안합니다. 이 벤치마크는 도구 사용, 메모리, 규칙 준수 등 여러 메커니즘별 진단을 통해 에이전트의 실제 역량을 측정할 수 있게 합니다.
10월 8일1
arXivAI 번역논문
다중 벡터 시각 문서 인덱스 역변환 공격
본 연구는 다중 벡터 시각 문서 검색기(retriever)가 저장된 패치 벡터 인덱스만으로도 원본 페이지를 재현할 수 있는 '역변환 공격'의 가능성을 제시합니다. ViDoRe v3 벤치마크에서 이 공격은 높은 복구율과 검색 정확도를 보였으며, 기존 보호 방법으로는 충분하지 않음을 입증했습니다.
10월 8일1
arXivAI 번역논문
PhantomEnvironments: 가상의 세계에서 LLM 에이전트 훈련하기
본 논문은 기존의 고비용 데이터나 위험한 환경에 의존하던 LLM 에이전트 훈련 방식을 개선했습니다. 'PhantomEnvironments'라는 가상의 합성 환경을 구축하여, LLMs를 규칙만으로 생성된 다중 턴 RL 환경에서 훈련시킬 수 있음을 제시합니다. 이 단순하고 저렴한 환경은 실제 세계의 복잡한 검색 및 추론 작업에 높은 전이 성능을 보였습니다.
10월 7일1
arXivAI 번역논문
AI 토큰의 가치는 얼마인가? 야생 AI 생성 웹 텍스트에 대한 스케일링 법칙
본 연구는 웹 데이터에 AI 생성 텍스트(야생 AI 텍스트)가 증가함에 따라 언어 모델 사전 학습에 미치는 영향을 분석했습니다. 추가된 AI 토큰 비율 변화에 따른 보류 손실을 측정하고, 기존 스케일링 법칙으로는 예측할 수 없는 새로운 이점 및 해로움 항을 가진 스케일링 법칙을 제안합니다.
10월 7일1
arXivAI 번역논문
루프형 트랜스포머와 Mixture-of-Experts (MoE)를 위한 스케일링 법칙
본 연구는 루프형 트랜스포머와 Mixture-of-Experts (MoE)의 효율적인 확장을 위한 새로운 'Loop Scaling Laws'를 제안합니다. 이 법칙은 순환 구조(recurrence)와 희소성(sparsity)을 모델 크기, 데이터와 함께 공동으로 모델링하여 성능 예측의 정확도를 높였습니다. 이를 통해 컴퓨팅 및 메모리 제약 조건 하에서 루프형 MoE 모델 설계의 이론적 기반을 마련했습니다.
10월 7일1
arXivAI 번역논문
제로샷 의료 초록 분류를 위한 DeBERTa-v3 비교 설명 가능성 프레임워크
본 연구는 의료 초록의 제로샷 분류 환경에서 DeBERTa-v3 모델을 평가하기 위한 비교 설명 가능성 프레임워크를 제시합니다. SHAP, LIME 등 다양한 기여도 방법론들을 비교하고, 예측 정확도와 함께 설명 가능성의 안정성을 정량적으로 분석했습니다. 그 결과, 임상 온톨로지 기반의 분류가 더 효과적이며, 모델 감사 시 여러 방법을 결합하는 것이 중요함을 보여줍니다.
10월 7일1
arXivAI 번역논문
Where-OPD: 합성 장면을 이용한 MLLM의 공간 안내 기반 온정책 자기 증류
본 논문은 MLLMs의 공간 안내 기반 온정책 자기 증류(on-policy self-distillation) 방식을 제안합니다. 기존 방식이 이미지 크롭 등 시각적 확대에 국한된 반면, 본 연구는 텍스트적/공간적으로 접지된 안내를 활용하여 확장 가능하고 주석이 필요 없는 후속 학습을 가능하게 합니다. 합성 장면만으로도 실제 세계 인식 벤치마크에서 높은 전이 성능을 입증했습니다.
10월 7일1
arXivAI 번역논문
메모리 경로 균형 맞추기: 하이브리드 LM의 메모리 활용 분석 및 개선
본 연구는 리커런트-어텐션 하이브리드 LM의 메모리 활용 불균형 문제를 분석했습니다. 모델들이 순환 레이어보다 어텐션에 과도하게 의존하는 현상을 발견하고, 이를 개선하기 위해 보조 손실(auxiliary loss)을 제안합니다. 이 방법은 두 메모리 경로를 균형 있게 사용하도록 유도하여 장기 컨텍스트 및 정보 집계 작업에서 성능 향상을 가져옵니다.
10월 7일1
arXivAI 번역논문
ufakzeka-karar: 순서 불변 옵션 점수화가 가능한 오픈 터키어 유형 결정 모델
ufakzeka-karar는 오픈 터키어 결정 모델로, 182M 파라미터를 가집니다. 이 모델은 주어진 텍스트와 고정된 답변 유형의 질문(선택지, 순서형 척도 등)에 대해 텍스트를 생성하지 않고 확률 점수를 산출하는 것이 특징입니다.
10월 7일1
arXivAI 번역논문
IdeaLens: 장문 작성물에서 AI 아이디어 탐지
IdeaLens는 문서의 단어 출처가 아닌, 아이디어 자체의 출처(idea provenance)를 식별하는 새로운 AI 감지기입니다. 이 모델은 문서를 개요로 변환하여 표면적인 텍스트 중복을 최소화하고 아이디어에 초점을 맞춥니다. 실험 결과, IdeaLens는 기존의 단어 기반 감지기보다 인간과 AI가 구상한 아이디어를 더 정확하게 구분하는 성능을 보였습니다.
10월 7일1
arXivAI 번역논문
T-Search: 어려운 다단계 검색을 위한 개방형 에이전트 리트리버 및 플레이그라운드
T-Search는 복잡한 다단계 검색을 위해 설계된 오픈 웨이트 에이전트 리트리버입니다. 이 도구는 주어진 질문과 코퍼스 기반의 제한적 다회전 검색을 수행하고, 근거 설명이 포함된 순위화된 증거 청크를 제공합니다. T-Search는 Qwen3.6-35B-A3B를 기반으로 훈련되었으며, 여러 벤치마크에서 높은 Recall@10 성능을 입증했습니다.
10월 7일1
arXivAI 번역논문
PlotGround: 실제 과학 논문 및 원본 데이터에서 플롯 디지털화 구현
과학 논문의 플롯 디지털화는 연구 결과 검증 및 재사용에 필수적이지만, 기존 벤치마크의 한계가 있었습니다. 본 글은 실제 과학 논문과 원본 데이터를 활용하여 PlotGround라는 자동화된 파이프라인을 구축하고, 이를 통해 인간 검증 벤치마크인 PlotGround-1k를 개발했습니다. 이 연구는 플롯 복구 정확도와 원본 데이터 기반 비교의 중요성을 입증합니다.
10월 7일0
arXivAI 번역논문
CLIFT: 웹 에이전트 학습 및 테스트 시간 스케일링을 위한 공형적 자체 검증
본 논문은 웹 에이전트의 학습 및 테스트 시간을 효율적으로 확장하기 위한 'CLIFT'라는 방법을 제안합니다. CLIFT는 공형적 자체 검증(conformal self-verification)을 기반으로 하며, 에이전트가 롤아웃에 대해 자연어 질문에 답하며 스스로를 검증하는 과정을 거칩니다. 이를 통해 비용이 많이 드는 외부 심사위원의 피드백 없이도 신뢰할 수 있는 학습 및 테스트 평가가 가능해집니다.
10월 7일0
arXivAI 번역논문
MemPilot: LLM 에이전트를 위한 온디맨드 멀티모달 메모리 큐레이션 오케스트레이션
MemPilot은 LLM 에이전트가 상호작용 전반에 걸쳐 정보를 효율적으로 보존하고 재사용하기 위한 온디맨드 멀티모달 메모리 큐레이션 오케스트레이션 프레임워크입니다. 이 시스템은 강화학습(RL)을 활용하여, 성능-비용-지연 시간 등 다양한 목표 선호도에 따라 최적의 메모리 검색 및 큐레이션 방식을 동적으로 선택합니다. 이를 통해 에이전트 컴퓨팅 자원의 세밀한 할당과 효율적인 트레이드오프 관리가 가능해집니다.
10월 7일0