Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
에이전트 로봇을 위한 재귀적 비디오 인컨텍스트 학습 (RV-ICL)
본 논문은 에이전트 로봇의 성능을 높이기 위해 '재귀적 비디오 인컨텍스트 학습(RV-ICL)'이라는 새로운 방법을 제안합니다. RV-ICL은 데모 영상을 단순한 프롬프트가 아닌, 계층적인 구조로 변환하여 에이전트에게 제공합니다. 이 구조는 전체 과제부터 세부 접촉 디테일까지 점진적으로 정보를 깊게 탐색할 수 있게 합니다.
10월 7일0
arXivAI 번역논문
기반 모델이 훈련 데이터의 단서(cue)를 활용하여 추론하는 방식 연구
본 논문은 기반 모델이 훈련 데이터의 시작 토큰 단서(cues)를 활용하여 추론하는 방식을 연구합니다. 특정 시작 단서만으로도 수학 및 코딩 분야에서 강화학습을 거친 동급 모델과 경쟁할 수 있음을 입증했습니다. 또한, 이 단서들이 추론에 미치는 영향을 인과적 데이터 개입을 통해 분석하고 안전성 측면까지 확장하여 논의합니다.
10월 7일0
arXivAI 번역논문
망각이 치명적이지 않을 때: 가짜 망각의 메커니즘에 대하여
본 논문은 언어 모델의 파인튜닝 과정에서 발생하는 '가짜 망각(spurious forgetting)' 현상을 분석합니다. 지식 손실이 항상 영구적이지 않으며, 일부는 회복될 수 있음을 밝힙니다. 이러한 역동성은 최소 연관 기억 구조와 정규화 과정을 통해 재현 가능하며, 망각의 메커니즘을 이해하는 것이 중요하다고 제안합니다.
10월 7일1
arXivAI 번역논문
IdeaAnchor: 문헌을 연구 아이디어로 변환하는 LLM 학습 방법
본 논문은 문헌 기반 아이디어 구상 능력을 LLM에 학습시키는 'IdeaAnchor' 패러다임을 제안합니다. 이 방법은 구조화된 명세(structured specifications)를 특권적 신호로 활용하여, 입력 논문들이 성공적인 아이디어를 만들기 위해 어떻게 종합되어야 하는지 모델을 훈련시킵니다. 데모니스트레이션, 셀프-디스티일레이션, RL 등을 통해 학습시킨 결과, 창의적 종합 능력과 세부 사항 정교화 능력을 모두 향상시키는 것이 효과적임을 입증했습니다.
10월 7일2
arXivAI 번역논문
정답과 유효하지 않은 추적: 검증 가능한 초등 수학이 Chain-of-Thought 추적이 밝히는 것
본 연구는 초등 수학 벤치마크 iGSM을 사용하여 Chain-of-Thought(CoT) 추적의 신뢰성을 검증했습니다. CoT가 항상 정확한 해결책과 유효하게 연결되는 것은 아니며, 특히 어려운 문제에서는 상당수의 정답이 유효하지 않은 추적을 가질 수 있음을 발견했습니다. 이는 AI 안전 및 해석 가능성 측면에서 중요한 함의를 제시합니다.
10월 6일2
arXivAI 번역논문
효율성을 위한 가지치기(Pruning)와 공정성 비용: 가지치기된 Speech-LLM의 인구통계학적 불균형
본 연구는 Speech-LLM 압축(가지치기) 과정에서 발생하는 인구통계학적 불균형 문제를 다룹니다. 기존의 종합 WER 지표만으로는 가지치기가 특정 그룹에 미치는 영향을 파악하기 어려우며, 실제 배포 시 공정성 문제가 발생할 수 있음을 발견했습니다.
10월 6일2
arXivAI 번역논문
로컬 믹싱이 글로벌 NoPE 어텐션에서 상대적 위치를 인코딩하는 방식
본 논문은 어텐션 연산이 본질적으로 위치 불변함에도 불구하고, SWA나 게이티드 선형 어텐션 같은 로컬 믹싱 레이어가 글로벌 NoPE 어텐션에서 어떻게 위치 정보를 암묵적으로 인코딩하는지 설명합니다. 핵심 주장은 이들이 잔차 스트림에 '최근성 편향(recency bias)'을 유도하며, 이것이 전역 어텐션 로짓으로 전달되어 작동한다는 것입니다.
10월 6일2
arXivAI 번역논문
라우팅 신호에서 선택적 재검토까지: MoE VLM에서의 시각적 재접지
본 논문은 Vision-language models (VLMs)이 대상 객체 부재 시 잘못된 시각적 전제를 수용하는 문제를 다룹니다. MoE VLM의 내부 라우팅 결정(internal routing decisions)을 활용하여, 생성 전에 대상 부재를 탐지하고 선택적으로 교정하는 새로운 프레임워크를 제시했습니다. 이를 통해 모델 가중치 수정 없이도 높은 정확도로 시각적 인지를 개선할 수 있음을 입증했습니다.
10월 6일2
arXivAI 번역논문
LongHarness 벤치마크: 장문 컨텍스트 추론을 위한 언어 모델 하네스 스트레스 테스트
본 논문은 장문 컨텍스트에서 언어 모델의 효과성과 효율성을 동시에 평가할 수 있는 새로운 벤치마크를 제안합니다. 이 벤치마크는 어휘 검색과 의미 일치를 포함하는 다양한 검색 전략을 요구하며, 전역적/국소적 추론 능력을 테스트합니다. 연구 결과, 동일한 모델도 하네스에 따라 성능 편차가 크며, 효율성을 평가할 중요성이 강조되었습니다.
10월 6일0
arXivAI 번역논문
테스트 시간 AI-for-AI를 위한 에이전트 메타 스킬 학습 및 하네스 설계
본 논문은 테스트 시간 AI-for-AI 접근 방식을 연구하며, Builder가 Target을 위해 최적의 실행 환경을 구성하는 방법을 학습하는 Meta-Skill 개념을 제안합니다. 이 Meta-Skill은 필요한 지원과 제공할 리소스를 원칙으로 명시하여, Builder가 개발 세트에서 피드백을 통해 이를 학습하고 고정된 스킬 뱅크로 하네스를 구축합니다.
10월 6일2
arXivAI 번역논문
교사 감독을 이용한 잠재 정보 피드백 트랜스포머 사전 학습
본 연구는 트랜스포머 언어 모델(LM)이 가진 정보 흐름 병목 현상을 해결하기 위해 LIFT(Latent Information Feedback Transformer) 아키텍처를 제안합니다. LIFT는 사전 학습 과정에서 깊은 레이어의 상태 정보를 얕은 레이어로 피드백하여, LM이 생성 전반에 걸쳐 상태를 효과적으로 전파할 수 있도록 합니다. 실험 결과, LIFT는 다양한 언어 모델링 및 다운스트림 작업에서 기존 트랜스포머 대비 우수한 성능을 입증했습니다.
10월 6일1
arXivAI 번역논문
타임라인을 넘어: 근거 기반 개체 전기(Biography)를 활용한 장기 비디오 메모리 증강
본 논문은 장기 비디오 메모리에서 동일한 물리적 개체를 추적하는 어려움을 해결하기 위해 Grounded Entity Biographies (GEB) 프레임워크를 제안합니다. GEB는 클립 전반의 시각적으로 근거된 관찰들을 검색 가능한 '전기(biography)'로 그룹화하여, 질문 답변 과정에서 모델이 개체의 정체성 링크를 활용해 이벤트를 추적하도록 돕습니다.
10월 6일1
arXivAI 번역논문
EmoRES-TTS: 감성 음성 생성을 위한 잔차 강화 벡터 조향
본 논문은 기존 감정 TTS 모델이 요청된 감정을 신뢰성 있게 표현하는 데 어려움이 있음을 지적하며, 트레이닝-프리 접근 방식인 벡터 조향을 연구합니다. 제안된 EmoRES는 감정 벡터를 공유 구성 요소와 잔차 구성 요소로 분해하여 백본 재학습 없이 두 요소를 제어함으로써 TTS의 감성 표현력을 크게 향상시켰습니다.
10월 6일1
arXivAI 번역논문
STEPQuant: 델타 규칙 순환 상태 양자화에서 오류가 중요해지는 시점과 위치
본 논문은 선형 어텐션의 순환 상태 양자화 시 발생하는 오류 문제를 다룹니다. STEPQuant라는 새로운 프레임워크를 제안하여, 시간적/공간적 관점에서 오류가 미치는 영향을 분석하고 정밀도를 할당합니다. 이를 통해 메모리 효율성을 높이면서도 높은 정확도를 유지할 수 있음을 입증했습니다.
10월 6일1
arXivAI 번역논문
Imagine3D-LLM: MLLMs가 답변하기 전에 3D 장면을 상상하도록 학습시키기
본 연구는 MLLMs가 여러 시점 이미지로부터 일관된 3D 장면을 추론하는 데 어려움이 있다는 점에 착안하여 Imagine3D-LLM을 제안합니다. 이 모델은 학습 가능한 요약 토큰을 추가하고, 이를 간결한 3D Gaussian Splatting 표현으로 디코딩하며 답변 생성과 공동 학습시킵니다. 그 결과, 기존 방식보다 우수한 3D 추론 성능을 보여줍니다.
10월 6일2
arXivAI 번역논문
Stance Drift: AI 매개 커뮤니케이션이 메시지를 왜곡하는 방식
본 연구는 LLM이 매개하는 커뮤니케이션 과정에서 화자의 원래 입장이 어떻게 왜곡되는지(Stance Drift)를 분석했습니다. AI가 생성한 주장에서 입장을 추출하는 파이프라인을 모델링하고, 9개의 LLM을 테스트한 결과 기본 설정으로는 입장 보존율(SPR)이 0.7을 넘기 어려웠습니다. 반성 프롬프트 사용으로 개선되었으나 양극화 문제가 여전히 주요 과제로 남았습니다.
10월 6일0
arXivAI 번역논문
신경망 복잡도가 건강 오정보 탐지 성능을 향상시키는가? 누출 제어 교차 코퍼스 벤치마크
본 연구는 건강 오정보 탐지 성능 향상과 신경망 복잡도 간의 관계를 분석했습니다. 다섯 가지 CNN/LSTM 아키텍처와 소프트 투표 기반 앙상블을 사용하여 COVID19-FNIR 및 CONSTRAINT 코퍼스에 대한 통제된 교차 코퍼스 벤치마크를 제공합니다. 결과적으로, 모델 복잡도가 안정적인 성능 우위를 보이지 않았으며, 벤치마크 구축 자체가 아키텍처 선택에 큰 영향을 미친다는 점을 시사했습니다.
10월 6일1
arXivAI 번역논문
Grounding Probes: 관찰자 모델의 은닉 상태를 이용한 생성기 독립적 환각 탐지
본 논문은 검색 증강 생성(RAG) 시스템의 환각 탐지 문제를 해결하기 위해 'Grounding Probe'를 제안합니다. 이 프로브는 별도의 생성기 의존성 없이, 관찰자 언어 모델의 중간 레이어 은닉 상태를 이용해 응답이 컨텍스트에 근거하는지 판단합니다. 이를 통해 기존 방법 대비 높은 정확도와 독립성을 확보했습니다.
10월 6일1
arXivAI 번역논문
반복적 영공사영을 통한 페르소나 부분 공간 추출 및 조절
본 논문은 대규모 언어 모델(LLMs)의 페르소나 제어를 위해 '조절(modulation)'이라는 새로운 개념을 제시합니다. 기존 방법들이 단일 방향으로 축소하는 한계를 극복하기 위해, 반복적 영공사영(INLP)을 사용하여 잠재 공간에서 다차원 부분 공간을 추출하고 이를 통해 LLM의 페르소나를 정밀하게 제어할 수 있음을 입증했습니다.
10월 6일1
arXivAI 번역논문
음성 언어 모델 조향: 대비 활성화 추가를 통한 학습 없는 태스크 특화
본 논문은 음성 언어 모델(SpeechLLMs)에 대한 학습 없는 태스크 특화 기법으로 '대비 활성화 추가(CAA)' 프로토콜을 제안합니다. 이 방법은 소수의 발화 레이블만으로 일반적인 음성 태스크를 위한 조향 벡터를 도출하며, 이를 추론 시 표현 공간에 추가하여 성능 향상을 입증했습니다.
10월 6일2