【Sequoia Podcast】AI Neolab--Engram【기억과 지속적 학습에 집중】--미래 AI 발전 트렌드에 대한 독특한 통찰 공유

Engram의 창업자들이 Sequoia 팟캐스트에서 AI의 기억과 지속적 학습(Continual Learning)의 중요성을 논의했습니다. RAG나 긴 컨텍스트 윈도우에 의존하기보다 지식을 모델 가중치에 직접 내재화하는 기술적 접근법을 제시합니다.

고차원 동적 회전 위치 임베딩 (High Dimensional, Dynamic Rotary Positional Embedding) [P]

기존 RoPE의 한계를 넘어 시퀀스 내 위치를 다차원적으로 해석하는 HDD-RoPE 알고리즘을 제안합니다. 데이터 의존적인 회전량을 통해 모델이 문단이나 문장 같은 구조적 위치를 더 효과적으로 학습할 수 있도록 설계되었습니다.

Midnight AI Groove 26-06-17: Midjourney Medical부터 GLM-5.2까지, AI 뉴스 최전선을 파헤치다

MTP가 적용된 Gemma4-26B-A4B 및 31B-QAT Uncensored Balanced 모델 출시 (속도 35% 및 53% 향상)!

MTP(Multi-Token Prediction) 기술이 적용된 Gemma4-26B-A4B 및 31B-QAT Uncensored Balanced 모델이 출시되었습니다. 이 모델들은 추측적 디코딩을 통해 속도를 최대 53% 향상시켰으며, 검열을 완화하여 창의적 글쓰기와 RP에 최적화되었습니다.

적응형 컨테이너 추정을 통한 불규칙한 3D 객체의 미분 가능한 패킹 (Differentiable Packing)

불규칙한 3D 객체의 패킹 문제를 해결하기 위해 컨테이너 크기와 객체 포즈를 동시에 최적화하는 미분 가능한 패킹 프레임워크를 제안합니다. 적응형 압착 메커니즘과 텐서 브로드캐스팅을 통해 기존 방식보다 높은 공간 효율성과 빠른 연산 속도를 달성했습니다.

확률적 부호 거리 프로세스 (Stochastic Signed Distance Processes)

다중 뷰 표면 재구성을 위해 SDF를 확률 과정으로 모델링하는 SSDP(Stochastic Signed Distance Processes)를 제안합니다. 픽셀 색상을 첫 번째 광선-표면 교차에 의한 혼합 분포로 정의하여 표면 재구성과 불확실성 정량화 성능을 높였습니다.

AI+CAD 데이터 표현 아키텍처: DeepCAD 솔리드 모델링에서 WHUCAD 산업 수준 파라메트릭 피처 모델링까지

DeepCAD의 기하학적 표현을 넘어 산업 수준의 파라메트릭 피처 모델링을 지원하는 새로운 AI+CAD 데이터 표현 아키텍처를 제안합니다. WHUCAD 데이터셋을 통해 설계 의도와 복잡한 피처 관계를 학습할 수 있는 구조를 제시합니다.

의미론적 블렌딩을 위한 텍스트 임베딩의 토큰 간 정렬 (Token-to-Token Alignment)

텍스트 임베딩 공간의 정렬 불량 문제를 해결하기 위해 토큰 간 정렬(Token-to-Token Alignment) 프레임워크를 제안합니다. 구조적 정렬과 임베딩 수준의 정렬을 통해 의미론적으로 유사한 개념들이 일관된 위치에 매핑되도록 하여, 이미지 블렌딩과 연속적 편집을 가능하게 합니다.

FiCA: 단일 인물 사진으로부터의 피드포워드(Feed-forward) 즉각적 가우시안 코덱 아바타 생성

단 한 장의 인물 사진으로 실감 나는 3D 가우시안 아바타를 생성하는 FiCA 파이프라인을 소개합니다. 비전 파운데이션 모델과 확산 모델을 결합하여 별도의 최적화 과정 없이도 사실적인 아바타를 즉각적으로 생성합니다.

GLM-5.2는 오픈 에이전트(Open Agents)를 위한 비약적 변화입니다

Z.ai가 출시한 GLM-5.2 모델은 오픈 웨이트 모델로서 에이전트 성능의 임계값을 돌파했습니다. Arena 에이전트 리더보드에서 OpenAI 및 Anthropic의 최신 모델과 대등한 성능을 보이며 오픈 소스 생태계의 강력한 대안으로 부상했습니다.

이제 AI의 한계는 머리가 나빠서가 아니다.

AI의 한계는 지능이 아닌 기억과 지속 학습에 있으며, 엔그램(Engram)은 어댑터 미세조정을 통해 이를 해결하고자 합니다. 모델 가중치에 정보를 직접 새겨 넣어 긴 프롬프트 없이도 효율적인 추론을 가능하게 하는 기술을 지향합니다.

2026년 6월 코딩 LLM 리더보드: 5개 모델에 대한 8가지 벤치마크

2026년 6월 출시된 주요 코딩 LLM 5종(Claude Opus 4.8, Claude Fable 5, GPT-5.5, GLM-5.2, Gemini 3.1 Pro)의 성능을 8개 벤치마크를 통해 비교 분석합니다. 각 모델의 SWE-bench Pro 점수, 비용 효율성, 라이선스 유형을 종합적으로 다룹니다.

다중 대조 MR 영상의 이미지 대 이미지 변환을 위한 생성적 적대 신경망 (GAN) - CycleGAN과 UNIT의 비교

다중 대조 MR 영상의 이미지 대 이미지 변환을 위해 CycleGAN과 UNIT 모델을 비교 분석한 연구입니다. 생성적 적대 신경망(GAN)을 활용하여 서로 다른 MRI 모달리티 간의 변환 성능을 평가합니다.

NVIDIA가 Hugging Face에 NVFP4 양자화된 MiniMax-M3를 출시했습니다

NVIDIA가 Hugging Face를 통해 NVFP4 양자화 기술이 적용된 MiniMax-M3 모델을 출시했습니다. 이 모델은 428B 파라미터의 멀티모달 MoE 구조로, Blackwell GPU에서 메모리 효율을 극대화하며 NatureBench를 통해 성능을 검증합니다.

자폐를 가진 학생이 손으로 에세이를 썼지만, Turnitin은 100% AI 생성물이라고 판정했습니다.

AI 탐지기가 자폐 학생의 수기 에세이를 AI 생성물로 오판하여 발생한 소송 사례를 통해 AI 탐지 기술의 근본적인 한계를 지적합니다. 새로운 연구에 따르면 AI 탐지기의 정확도와 공정성을 동시에 확보하는 것은 수학적으로 불가능할 수 있습니다.

윤리적 감사 가능성을 내장한 스마트 농업 마이크로그리드 오케스트레이션을 위한 프라이버시 보존형 능동 학습 (Privacy-Preserving

스마트 농업 마이크로그리드 환경에서 데이터 프라이버시를 보호하면서 에너지 흐름을 최적화하기 위한 프라이버시 보존형 능동 학습(Active Learning) 프레임워크를 제안합니다. 모델의 불확실성을 압축하여 전달하고 암호화된 원장을 통해 윤리적 감사 가능성을 확보하는 연구를 다룹니다.

Zyphra가 지속 학습 (Continual Learning)에 관한 첫 번째 연구를 공유합니다: LLM은 새로운 데이터로부터 영원히 학습할

Zyphra가 LLM의 지속 학습(Continual Learning) 가능성을 탐구한 첫 번째 연구를 발표했습니다. 모델이 새로운 데이터로부터 지속적으로 학습할 수 있는지와 가소성 상실(Plasticity Loss)이 발생하는 시점에 대한 스케일링 법칙을 다룹니다.

VibeThinker-3B: SFT+GRPO로 Opus 4.5 추론 성능을 넘긴 3B 모델

VibeThinker-3B 모델이 SFT와 GRPO를 통해 소형 모델임에도 Opus 4.5 수준의 추론 성능을 달성한 사례를 분석합니다. 모델의 지식 인코딩 방식과 추론 능력 사이의 상관관계, 그리고 소형 모델 최적화의 가능성과 한계에 대해 논의합니다.

HewlettPackard/dc-rl

SustainDC는 이기종 다중 에이전트 강화학습(MARL)을 활용하여 데이터 센터 시뮬레이션 및 제어를 수행하는 Python 환경 세트입니다. Gymnasium과 통합되어 워크로드 스케줄링, 냉각 최적화, 배터리 관리 등을 연구할 수 있도록 지원합니다.

MoDS: 지시어 튜닝 (Instruction Tuning)을 위한 모델 지향적 데이터 선택 (Model-oriented Data

지시어 튜닝(Instruction Tuning) 시 모델의 성능을 최적화하기 위해 모델 지향적인 방식으로 데이터를 선택하는 MoDS 방법론을 소개합니다.