체화된 에이전트 (Embodied agents)를 위한 지속적 상태 및 메모리

선형 시간 주의 집중 (Linear-temporal attention)을 통해 에이전트는 모든 것을 처음부터 다시 계산하는 대신 실행 중인 세계 모델 (World model)을 유지할 수 있습니다 [1].

연상 그래프 메모리 (Associative graph memories)는 관찰 내용을 연결된 노드로 저장하여, 긴 공백 이후에도 회상이 가능하게 합니다 [2].

두 접근 방식 모두 핵심적인 어려움을 드러냅니다: 입력 스트림이 간헐적이거나 많은 단계에 걸쳐 확장될 때 일관된 행동을 유지하는 문제입니다 [3].

세밀한 강화학습 (Granular reinforcement learning) 및 품질 인식 증류 (Quality-aware distillation)

단계별 신용 할당 (Step-level credit assignment)이 거친 에피소드 보상을 대체하여, 에이전트에게 어떤 행동이 실제로 중요했는지에 대해 더 명확한 신호를 제공합니다 [4].

품질 인식 자기 증류 (Quality-aware self-distillation)는 멀티모달 모델 (Multimodal models)이 압축될 때 세밀한 접지 단서 (Grounding cues)를 보존하여, 추가적인 감독 없이도 다운스트림 추론 (Downstream reasoning) 능력을 향상시킵니다 [5].

효율적인 잠재 확산 트랜스포머 (Efficient latent-diffusion transformers)

적응형 토큰 압축 (Adaptive token compression)은 정보량이 적은 패치 (Patches)를 즉석에서 버림으로써, 시각적 충실도 (Visual fidelity)를 유지하면서 추론 비용을 절감합니다 [6].

주파수 인식 스펙트럼 강제 (Frequency-aware spectral forcing)는 확산 스펙트럼 (Diffusion spectrum)을 재구성하여 더 적은 파라미터로도 동일한 세부 수준을 달성하게 함으로써 실행 시간을 더욱 단축합니다 [7].

다국어 코드 격차

Multi-LCB 벤치마크는 12개의 비-Python 언어를 추가하였으며, 현재의 대규모 언어 모델 (Large language models)이 여전히 주로 Python에서 탁월한 성능을 보이고 다른 언어에서는 성능이 최대 40%까지 하락한다는 것을 보여줍니다 [8].

이 결과는 훈련 데이터와 평가 범위가 확장되지 않는 한 코드 생성 도구들이 편향된 상태로 남을 것임을 경고합니다.

4-bit 사전 훈련 (pretraining) 안정화

기존의 E2M1 양자화기 (quantizer)를 균일한 4-bit 그리드와 무작위 하다마르 변환 (Random Hadamard Transform)으로 대체하면 기하학적 수축 편향 (geometric shrinkage bias)을 제거할 수 있습니다. 이러한 방식으로 훈련된 대규모 모델은 더 안정적으로 수렴하며 정확도를 유지합니다 [\u2014][\u2014]9.

FastContext: 저장소 탐색 에이전트 (repository-exploration agent)

FastContext는 메인 모델이 코드를 처리하기 전에 간결한 파일 경로를 추출하는 경량 서브 에이전트 (sub-agent)를 생성합니다. 이를 통해 토큰 소비를 약 60% 줄이고 SWE-bench 벤치마크 세트에서의 성공률을 높입니다 [\u2014][\u2014]10.

희소 오토인코더 (sparse autoencoder) 특징의 취약성

희소 오토인코더 (Sparse autoencoders)는 해석 가능한 뉴런을 생성하지만, 개별 특징 (features)은 무작위 시드 (random seeds)에 따라 급격하게 변합니다. 더욱이, 표적 개입 (targeted interventions) 이후에도 동일한 희소 코드 (sparse codes)가 다시 나타나 유해한 동작을 지원할 수 있습니다 [\u2014][\u2014]11, [\u2014][\u2014]12.

AI 리뷰어 재포장 공격 (repackaging attacks)

LLM 기반 리뷰어에 의존하는 평가는 제출물의 사소한 재형식화 (re-formatting)에 속을 수 있습니다. 내용은 동일하지만 리뷰어의 출력이 변하게 되며, 이는 자동화된 피어 리뷰 (peer review) 파이프라인의 비견고성 (non-robustness)을 드러냅니다 [\u2014][\u2014]13.

시각적 저장소 맵을 통한 토큰 감소

코드 저장소를 그래프 기반 이미지로 인코딩하여 텍스트와 함께 입력하면, 답변 품질을 유지하면서 토큰 사용량을 최대 26%까지 줄일 수 있습니다. 이 기술은 긴 문맥의 코드 이해 (long-context code-understanding) 작업에 대한 실용적인 지름길을 제공합니다 [\u2014][\u2014]14.

참고 문헌 (References)

1. Kairos: 물리적 AI를 위한 네이티브 월드 모델 스택 (A Native World Model Stack for Physical AI)
2. 메모리는 검색되는 것이 아니라 재구성된다: LLM 에이전트를 위한 그래프 메모리 (Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents)
3. 현재의 월드 모델은 지속적인 상태 코어 (Persistent State Core)가 부족하다 (Current World Models Lack a Persistent State Core)
4. StepPO: 에이전트형 강화학습 (Agentic Reinforcement Learning)을 위한 단계 정렬 정책 최적화 (Step-Aligned Policy Optimization for Agentic Reinforcement Learning)
5. 올바른 교사를 신뢰하라: GUI 그라운딩 (GUI Grounding)을 위한 품질 인식 자기 증류 (Quality-Aware Self-Distillation for GUI Grounding)
6. HiLo-Token: 효율적인 이미지 편집을 위한 입력 적응형 고-저주파 토큰 압축 (Input-Adaptive High-Low Frequency Token Compression for Efficient Image Editing)
7. 신호는 보여주고 노이즈는 숨겨라: 픽셀 공간 확산 (Pixel-Space Diffusion)을 위한 스펙트럼 강제 (Spectral Forcing)
8. Multi-LCB: LiveCodeBench를 다중 프로그래밍 언어로 확장 (Extending LiveCodeBench to Multiple Programming Languages)
9. LLM FP4 사전 학습에서의 수축 편향 (Shrinkage Bias) 재고: 기하학적 기원, 시스템적 영향, 그리고 UFP4 레시피 (Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe)
10. FastContext: 코딩 에이전트를 위한 효율적인 리포지토리 탐색기 학습 (Training Efficient Repository Explorer for Coding Agents)
11. SAE 개입은 신뢰할 수 없다: 억제된 행동의 개입 후 회복 (SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed Behavior)
12. 불안정한 특징, 재현 가능한 부분 공간: 희소 오토인코더 (Sparse Autoencoders)에서의 시드 의존성 이해 (Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders)
13. 숨겨진 프롬프트는 필요 없다! 발표 중심의 수정만으로 AI 동료 검토를 통과할 수 있다 (No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions)
14. LLM 에이전트는 코드 리포지토리를 볼 수 있다 (LLM Agents Can See Code Repositories)