GraphRAG가 정말 필요한가? 기본 RAG에서 컨텍스트 최적화를 통한 Graph-/Agentic 솔루션까지

본 논문은 일반 RAG부터 GraphRAG, Agentic RAG까지 다양한 RAG 변형 모델을 비교 평가하는 프레임워크를 제안합니다. 새로운 컨텍스트 엔지니어링 기법을 통해 토큰 사용량을 최대 53% 절감하고, 검색-생성 간극(retrieval-generation gap) 문제를 분석합니다.

BitNet 텍스트 임베딩 (BitNet Text Embeddings)

BITEMBED는 LLM 기반 텍스트 임베딩의 높은 추론 비용과 저장 공간 문제를 해결하기 위한 극저비트 프레임워크입니다. BitNet 스타일의 양자화 기술과 지식 증류를 통해 성능 저하를 최소화하면서도 효율적인 임베딩 생성을 가능하게 합니다.

토큰 영향력 귀속을 통한 오염된 검색 코퍼스 내 타겟 답변 추적

RAG 시스템의 코퍼스 오염 공격을 탐지하기 위한 경량 프레임워크 TRACE를 제안합니다. 토큰 영향력 귀속 기술을 활용하여 추가적인 LLM 검증 없이도 악의적인 문서를 식별하고 타겟 답변을 추적할 수 있습니다.

RAS: 거절 정렬 (Refusal Alignment)을 통한 LLM 안전성 측정

LLM의 안전성을 출력 결과가 아닌 내부 표현(internal representations)을 통해 측정하는 화이트박스 평가 방식인 SafeVec과 RAS 지표를 제안합니다. 이 방식은 기존의 출력 기반 평가보다 비용이 적고 빠르며, 모델의 거절 정렬 상태를 0-100 점수로 정밀하게 측정할 수 있습니다.

OPERA: 객관적 Perplexity 기반 강화학습을 통한 개방형 추론 정렬

OPERA는 LLM의 개방형 작업 정렬을 위해 Perplexity 기반의 내재적 보상을 사용하는 강화학습 방법론을 제안합니다. 외부 판사의 편향 문제를 해결하고, 데이터 합성 및 Perplexity 우선순위 롤아웃을 통해 고품질 추론 궤적을 생성합니다. Qwen3-8B에 적용 시 오픈 소스 SOTA를 기록하며 일부 폐쇄형 모델과 대등한 성능을 보였습니다.

컴퓨터 사용 에이전트를 위한 불확실성 정량화 (Uncertainty Quantification): 시각-언어 모델 (VLM) 및 GUI

컴퓨터 사용 에이전트의 신뢰성을 높이기 위한 불확실성 정량화(UQ) 연구와 새로운 벤치마크인 Argus를 소개합니다. 다양한 VLM과 데이터셋 환경에서 UQ 방법론의 안정성을 분석하고, 모델 및 인터페이스 변화에 따른 성능 전이 특성을 규명합니다.

한계 내에서의 공간 효율적인 언어 생성

제한된 메모리 자원 하에서 언어를 학습하고 생성하는 과정에 대한 이론적 프레임워크를 제시합니다. DFA를 활용하여 공간 효율적인 언어 생성의 한계와 메모리 예산에 따른 생성 성능의 변화를 수학적으로 규명합니다.

인코더만으로 충분한가? LLM 적대적 평가를 위한 인코더 및 디코더 안전성 판사(Safety Judges)의 체계적 비교

LLM의 안전성 평가를 위해 기존 LLM 기반 판사 대신 ModernBERT와 같은 인코더 분류기를 사용하는 방식의 성능을 체계적으로 비교 연구했습니다. 인코더 분류기가 비용과 지연 시간을 줄이면서도 유해 출력을 효과적으로 식별할 수 있는지 다양한 공격 기법과 지표를 통해 검증했습니다.

대규모 언어 모델(LLM)이 언어와 시장에 걸쳐 브랜드 평판을 확보하는 방식

LLM이 브랜드 정보를 인용하는 방식에 대한 연구로, 13개 언어와 128개 브랜드를 분석했습니다. AI는 주로 브랜드 소유 사이트가 아닌 제3자 소스를 통해 정보를 제공하며, 특정 도메인에 인용이 집중되는 경향을 보입니다.

함수 호출을 넘어: 도구-환경의 비신뢰성 하에서의 도구 사용 에이전트 벤치마킹

도구 환경의 비신뢰성을 고려한 새로운 에이전트 벤치마크 ToolBench-X를 소개합니다. 기존 벤치마크가 신뢰할 수 있는 환경을 가정하는 것과 달리, 이 연구는 다양한 오류 상황에서도 에이전트가 과업을 완수할 수 있는 회복 능력을 평가합니다.

SARA: 의미론적 앵커 기반 라우팅 정렬을 통한 Mixture-of-Experts의 다국어 지식 활용 극대화

SARA는 MoE 아키텍처에서 저자원 언어의 성능을 높이기 위해 고자원 언어의 의미론적 앵커를 활용하는 프레임워크입니다. 라우팅 분포를 직접 정렬하여 언어 간 전문가 공유를 극대화함으로써 다국어 능력을 향상시킵니다.

지속성 메모리(Persistent memory)에서의 정보 흐름 보안

지속성 메모리(Persistent memory) 환경에서 프로그램의 정보 흐름 보안을 보장하기 위한 새로운 논리 모델을 제안합니다. 비구조적 언어 모델링과 재정렬 간섭 자유(RIF) 개념을 통해 x86 어셈블리 및 지속성 메모리에서의 보안 추론 가능성을 입증합니다.

경로 추적 스테레오에서의 교차 뷰 분산 상관관계: 합성 학습 데이터의 숨겨진 지름길

경로 추적(Path-traced) 합성 스테레오 데이터에서 두 카메라의 분산 필드가 높은 상관관계를 보인다는 사실을 발견했습니다. 이 상관관계는 시차 추정 모델이 학습 시 활용할 수 있는 일종의 '지름길(shortcut)'로 작용할 가능성이 있습니다.

Wan-Streamer v0.1: 엔드투엔드 실시간 상호작용 파운데이션 모델 (End-to-end Real-time Interactive

Wan-Streamer는 실시간 시청각 상호작용을 위해 설계된 엔드투엔드 네이티브 스트리밍 파운데이션 모델입니다. 단일 Transformer 구조를 통해 언어, 오디오, 비디오를 통합 처리하며, 기존 계층형 시스템의 지연 시간과 오류 누적 문제를 해결했습니다.

지속적인 주름을 포함한 자기지도 학습 기반 의류 역학 (Self-supervised Garment Dynamics with Persistent

지속적인 주름을 구현하기 위해 소성(Plasticity)을 모델링하는 최초의 자기지도 학습 기반 신경망 의류 시뮬레이터를 제안합니다. 물리 법칙 기반의 손실 함수와 커리큘럼 학습을 통해 탄소성 재질을 효과적으로 모방합니다.

EvoFlock: 다중 에이전트 운동의 진화적 역설계 (evolved inverse design of multi-agent motion)

다중 에이전트 운동 모델의 파라미터를 자동 최적화하는 EvoFlock 연구를 소개합니다. 유전 알고리즘 기반의 역설계 방식을 통해 복잡한 비선형 파라미터 상호작용을 해결하고 원하는 군집 행동을 구현합니다.

【Sequoia Podcast】AI Neolab--Engram【기억과 지속적 학습에 집중】--미래 AI 발전 트렌드에 대한 독특한 통찰 공유

Engram의 창업자들이 Sequoia 팟캐스트에서 AI의 기억과 지속적 학습(Continual Learning)의 중요성을 논의했습니다. RAG나 긴 컨텍스트 윈도우에 의존하기보다 지식을 모델 가중치에 직접 내재화하는 기술적 접근법을 제시합니다.

고차원 동적 회전 위치 임베딩 (High Dimensional, Dynamic Rotary Positional Embedding) [P]

기존 RoPE의 한계를 넘어 시퀀스 내 위치를 다차원적으로 해석하는 HDD-RoPE 알고리즘을 제안합니다. 데이터 의존적인 회전량을 통해 모델이 문단이나 문장 같은 구조적 위치를 더 효과적으로 학습할 수 있도록 설계되었습니다.

Midnight AI Groove 26-06-17: Midjourney Medical부터 GLM-5.2까지, AI 뉴스 최전선을 파헤치다

MTP가 적용된 Gemma4-26B-A4B 및 31B-QAT Uncensored Balanced 모델 출시 (속도 35% 및 53% 향상)!

MTP(Multi-Token Prediction) 기술이 적용된 Gemma4-26B-A4B 및 31B-QAT Uncensored Balanced 모델이 출시되었습니다. 이 모델들은 추측적 디코딩을 통해 속도를 최대 53% 향상시켰으며, 검열을 완화하여 창의적 글쓰기와 RP에 최적화되었습니다.