AI/ML 연구 요약 — 2026년 5월 23일

극한의 KV-Cache 압축 및 긴 문맥 효율성 (Long-Context Efficiency)

정적 양자화 (Static quantization)가 회전 기반 (rotation-based) 및 문맥 민감형 (context-sensitive) 체계에 자리를 내주고 있습니다. OCTOPUS와 OScaR은 캐시 크기를 극적으로 줄이면서도 거의 손실이 없는 INT2 성능에 도달합니다 \u005b1\u005d, \u005b2\u005d. 희소 토큰 인덱서 (Sparse token indexers)는 밀집 캐시 (dense caches)를 검색 가능한 스케치 (sketch)로 대체하여, 더 낮은 메모리 비용으로 어텐션 충실도 (attention fidelity)를 보존합니다 \u005b3\u005d. 선형 어텐션 디커플링 (Linear-attention decoupling)은 KV 스트림을 단기 가변 부분 (short-term mutable part)과 장기 정적 부분 (long-term static part)으로 분리하여, 이차적 증가 (quadratic growth) 없이도 긴 문맥 추론 (long-context reasoning)의 정확도를 유지합니다 \u005b4\u005d. 이러한 아이디어들은 결합되어 모델이 많은 검색 증강 (retrieval-augmented) 및 다국어 애플리케이션의 병목 현상이었던 적절한 하드웨어에서도 수천 개의 토큰을 처리할 수 있게 합니다.

LLM 추론을 위한 검증 가능한 보상 (Verifiable Rewards)

검증 가능한 보상을 통한 강화학습 (RL from verifiable rewards, RLVR)은 거친 GRPO 베이스라인 대신 토큰 수준의 신용 신호 (token-level credit signals)를 사용하여 정책 업데이트 (policy updates)를 정교화합니다. 판별적 토큰 가중치 부여 (Discriminative token weighting)는 올바른 중간 단계에 더 높은 보상을 할당하여 수학 및 코드 정확도를 향상시킵니다 \u005b5\u005d. 하위 문제 수준의 커리큘럼 학습 (Subproblem-level curriculum learning)은 어려운 문제를 다룰 수 있는 조각으로 나누어, 모델이 점진적으로 보상을 얻고 보지 못한 조합으로 일반화할 수 있도록 합니다 \u005b6\u005d. 그 결과, 다단계 추론 (multi-step reasoning)이 필요한 벤치마크 제품군에서 정확한 솔루션 도출률이 측정 가능한 수준으로 상승했습니다.

3D 기하학을 위한 통합 생성 프레임워크 (Unified Generative Frameworks for 3D Geometry)

시각-언어 모델 (Vision-language models)이 이제 명시적인 기하학적 기본 요소 (geometric primitives)와 결합되어 시뮬레이션 준비가 된 에셋 (simulation-ready assets)을 출력합니다. UniT의 그룹 자기회귀 트랜스포머 (Group Autoregressive Transformer)는 점, 선, 면을 단일 토큰 스트림 (token stream)으로 취급하여, 미터 단위 규모의 장면 (metric-scale scenes)을 엔드 투 엔드 (end-to-end)로 생성할 수 있게 합니다 [7]. 별도의 연구 흐름에서는 4차원 가우시안 스플래팅 (4-dimensional Gaussian splatting)을 파이프라인에 주입하여, 가공되지 않은 센서 스트림을 다운스트림 물리 시뮬레이터 (downstream physics simulators)에 적합한 밀도가 높고 시간적으로 일관된 재구성 (temporally coherent reconstructions) 결과물로 변환합니다 [8]. 이는 인지 (perception)와 에셋 생성 (asset creation)을 통합하여, 오랫동안 가상 세계 구축을 제한해 온 수동 모델링 노력을 줄여줍니다.

주목할 만한 논문들 (Standout Papers)

스펙트럴 용량을 위한 Muon 옵티마이저 (Muon Optimizer for Spectral Capacity) – Muon은 AdamW를 대체하며, 피드포워드 레이어 (feed-forward layers)의 스펙트럴 용량 (spectral capacity)을 모델 크기에 따라 선형적으로 확장하여, 추가적인 파라미터 없이도 더 높은 표현력 (expressive power)을 제공합니다 [9]. 이 발견은 옵티마이저 설계가 내부 표현 (internal representations)을 직접적으로 형성할 수 있음을 보여주며, 이는 트랜스포머 (transformer) 연구에서 아직 충분히 탐구되지 않은 지점입니다.

진정한 에이전트 평가를 위한 TerminalWorld (TerminalWorld for Authentic Agent Evaluation) – TerminalWorld는 실제 개발자 워크플로우를 모방하는 커맨드 라인 (command-line) 작업들로 구성된, 자동 큐레이션된 방대한 벤치마크를 제공합니다. 가장 뛰어난 에이전트조차 통과율이 62.5%에 머물러, 실험실 규모의 성공과 실제 사용성 사이의 격차를 드러냅니다 [10].

WavFlow 원시 파형 생성 (WavFlow Raw Waveform Generation) – WavFlow는 잠재 인코더 (latent encoders)를 버리고 플로우 매칭 (flow-matching)을 사용하여 파형 패치 (waveform patches)로부터 오디오를 직접 생성합니다. 이 모델은 확산 (diffusion) 베이스라인과 대등한 고충실도 (high-fidelity) 합성을 달성하며, 고품질 오디오 생성을 위해 의미론적-음향적 병목 현상 (semantic-acoustic bottlenecks)이 반드시 필요한지에 대한 의문을 제기합니다 [11].

기타 주목할 만한 세부 사항 (Other Notable Details)

에이전트 파이프라인에서의 Observable-Read 격리 (Observable-Read Isolation in Agent Pipelines) – 전달 사항을 기록하는 HTTP 미들웨어가 Observable-Read 격리를 강제함으로써, 에이전트의 핵심 코드를 수정하지 않고도 다단계 에이전트(multi-step agents) 내의 구조적 경합 조건(structural race conditions)을 제거합니다 \u201d12\u201d.

메시 흐름 매칭을 위한 Matérn 프로세스 (Matérn Process for Mesh Flow Matching) – 삼각측량에 구애받지 않는 Matérn 프로세스 노이즈 모델을 도입함으로써, 흐름 매칭(flow-matching) 생성기가 수백만 개의 삼각형을 가진 메시(mesh)를 생성할 수 있게 하여 기존 메시 합성 방법의 다양성 한계를 돌파합니다 \u201d13\u201d.

FlowLong – 중첩된 슬라이딩 윈도우(sliding windows)를 Tweedie 매칭(Tweedie matching)과 결합하여 자기회귀 비디오 확산(autoregressive video diffusion) 모델의 생성 지평을 비용 없이 확장합니다. 이 기술은 표준 확산 모델(diffusion models)의 알려진 약점인 임의의 긴 시퀀스 전반에 걸친 시간적 일관성(temporal coherence)을 유지합니다 \u201d14\u201d.

참고 문헌 (References)

1. OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under optimal Squared error quantization
2. OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond
3. Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps
4. Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
5. DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
6. From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
7. UniT: Unified Geometry Learning with Group Autoregressive Transformer
8. Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving

동일한 아키텍처, 다른 용량: 옵티마이저 유도 스펙트럼 스케일링 법칙 (Optimizer-Induced Spectral Scaling Laws)
10. TerminalWorld: 실제 터미널 작업에서의 에이전트 벤치마킹 (Benchmarking Agents on Real-World Terminal Tasks)
11. WavFlow: 파형 공간에서의 오디오 생성 (Audio Generation in Waveform Space)
12. S-Bus: 멀티 에이전트 LLM 상태 조율을 위한 자동 읽기 집합 재구성 (Automatic Read-Set Reconstruction for Multi-Agent LLM State Coordination)
13. 메시 상의 삼각측량 불가지론적 플로우 매칭을 위한 Matérn 노이즈 (Matérn Noise for Triangulation-Agnostic Flow Matching on Meshes)
14. FlowLong: 매니폴드 제약 트위디 매칭을 통한 추론 시점의 긴 비디오 생성 (Inference-time Long Video Generation via Manifold-constrained Tweedie Matching)