Insights

Mythos를 하루 종일 사용해 본 후의 소감

Anthropic의 보안 연구 특화 모델인 Mythos를 사용한 후기입니다. 높은 비용과 제한적인 하네스 환경에도 불구하고, 보안 취약점 탐지 및 보안 연구 작업에서 기존 모델을 압도하는 성능을 보여줍니다.

AutoMegaKernel: 자가 재타겟팅 Megakernel 합성을 위한 정적 검증 에이전트 하네스

AutoMegaKernel(AMK)은 Llama 계열 모델을 단일 CUDA 커널로 컴파일하여 전체 순전파를 실행하는 자동화된 시스템입니다. 정적 검증 에이전트를 통해 데드락과 레이스 컨디션이 없는 안전한 메가커널을 생성하며, 다양한 GPU 아키텍처에 대해 자동 재타겟팅을 지원합니다.

눈이 보는 것을 LLM은 놓친다: 인간의 지각을 이용한 적대적 텍스트 공격

LLM 기반 콘텐츠 중재 시스템이 인간의 시각적 지각과 달리 타이포그래피 조작에 취약함을 밝힌 연구입니다. 간격, 강조, 배치 등 시각적 요소를 활용한 적대적 공격(HPAA)을 통해 기계의 탐지율을 1% 미만으로 낮추면서도 인간의 인식률은 86% 이상 유지할 수 있음을 증명했습니다.

로컬 스코어 모델은 언제 크기 간 외삽(Extrapolation)이 가능한가? 진단 이론 및 벤치마크

로컬 스코어 모델의 크기 외삽(size extrapolation) 가능성을 결정하는 이론적 메커니즘을 분석합니다. 아키텍처의 국소성보다 가우시안 평활화된 스코어의 준국소성이 핵심임을 밝히고, 이를 검증하기 위한 FDLF 벤치마크를 제안합니다.

BrainSurgery: 모델 편집 및 업사이클링을 위한 재현 가능하고 신뢰할 수 있는 선언적 가중치 조작

BrainSurgery는 대규모 딥러닝 모델의 가중치를 재현 가능하고 신뢰할 수 있게 조작하는 도구입니다. YAML 기반의 선언적 계획을 통해 레이어 재구조화, 정밀도 캐스팅 등 복잡한 텐서 수술을 안전하게 수행합니다.

홀로그래픽 축소 표현 (Holographic Reduced Representations)을 이용한 얽힘 해제 (Disentanglement)

본 연구는 신경망을 통해 데이터의 변동 요인을 분리하는 얽힘 해제(Disentanglement) 문제를 해결하기 위해 홀로그래픽 축소 표현(HRR)을 활용한 새로운 비지도 학습 알고리즘을 제안합니다. HRR의 언바인딩 연산을 통해 이산적인 기호적 구조를 미분 가능한 방식으로 학습하며, 기존 모델 대비 노이즈에 강하고 우수한 성능을 보임을 입증했습니다.

자기지도 학습 원리를 통한 확산 모델 (Diffusion Models)의 표현 공간 평가

확산 모델의 생성 능력과 자기지도 표현 학습 능력을 동시에 평가하기 위한 새로운 프레임워크를 제안합니다. 피셔 정보 기반의 ICR 지표를 통해 특징 공간의 불변성과 잔차 성분을 분석하여 모델의 일반화와 암기 과정을 정량화합니다.

매개변수화된 양자 회로를 위한 적응형 방향 그래디언트 (Adaptive directional gradients for parameterised

매개변수화된 양자 회로(PQC) 학습 시 발생하는 그래디언트 추정 비용 문제를 해결하기 위한 새로운 순방향 그래디언트 추정 프레임워크를 제안합니다. 무작위 방향 미분을 활용하여 측정 비용을 획기적으로 줄이며, 적응형 최적화 도구인 QUIVER를 통해 기존 방식보다 높은 효율성을 입증했습니다.

Transformer의 타이트한 샘플 복잡도 (Tight Sample Complexity)

Transformer 모델의 VC 차원과 샘플 복잡도에 대한 수학적 상한 및 하한을 규정하는 연구입니다. 특히 사고의 사슬(CoT) 학습 시 티처 포싱 방식의 샘플 복잡도를 분석하여 이론적 한계를 증명합니다.

학습 역학을 통해 밝혀진 가중치 유도 계층적 레이어별 Gram 지표

피드포워드 ReLU 네트워크의 경사 하강법 역학을 훈련 세트 공간의 필드 관점에서 재기술하는 연구입니다. 단일 은닉층을 넘어 깊은 네트워크에서 레이어 간 정보 전달을 매개하는 가중치 유도 Gram 연산자의 계층 구조를 제안합니다.

당신의 모델은 이미 알고 있습니다: Vision-Language-Action 모델을 위한 어텐션 가이드 기반 안전 필터

VLA 모델의 어텐션 헤드를 활용하여 별도의 추가 학습 없이 실시간으로 장애물을 감지하고 충돌을 방지하는 안전 필터 프레임워크를 제안합니다. 기존 VLM 기반 방식보다 빠르며, 움직이는 장애물이 있는 동적 환경에서도 높은 성능을 입증했습니다.

섭동 대조 물리 학습 (Perturbative Contrastive Physical Learning)

물리 시스템의 섭동에 대한 반응을 대조하여 학습하는 새로운 프레임워크인 PCPL을 제안합니다. 이 방식은 명시적인 역전파 없이 시스템 자체의 물리적 반응을 통해 효과적인 학습 기하학을 형성합니다.

iOSWorld: 개인화된 지능형 휴대폰 에이전트를 위한 벤치마크

iOSWorld는 사용자의 신원, 이력, 선호도를 반영한 개인화된 지능형 휴대폰 에이전트를 평가하기 위한 최초의 대화형 네이티브 iOS 시뮬레이터 벤치마크입니다. 26개의 앱과 133개의 태스크를 통해 단일 앱, 멀티 앱, 메모리 및 개인화 능력을 종합적으로 테스트합니다.

심층 지형적 다중 모달 모델을 통한 기능적 선택적 뇌 영역의 발견

Topo-Omni는 시각, 청각, 언어 처리를 단일한 연속적 시트로 통합한 지형적 다중 모달 모델입니다. 이 모델은 인간의 신경 영상과 일치하는 모달리티 간 클러스터를 형성하며, 피질 조직의 공간적 원리를 규명합니다.

LLM RL에서의 발산 정규화(Divergence Regularization)에 대한 재고

LLM 강화학습(RL) 시 발생하는 학습-추론 불일치와 정책 노후화 문제를 해결하기 위한 새로운 최적화 방법론인 DRPO를 제안합니다. 기존의 하드 마스크 방식 대신 부드러운 2차 정규화 항을 사용하여 학습 안정성과 효율성을 높였습니다.

무한 차원 다양체 상의 미분 가능한 사상에 대한 가중 유니버설 근사 (Weighted universal approximation)

함수 입력 신경망(FNN)을 미분 가능한 사상으로 일반화하여 유니버설 근사 정리(UAT)를 확장하는 연구입니다. 가중 나흐빈 정리를 통해 도함수 근사까지 포함하는 이론적 틀을 확립했습니다.

DIRECT: 3D 인지 및 포즈 제어가 가능한 객체 삽입 기술

ICML 2026에 채택된 DIRECT는 3D 인지 및 포즈 제어가 가능한 객체 삽입 프레임워크입니다. 외형, 기하학적 구조, 문맥 가이드를 분해하여 참조 정체성을 유지하며 객체를 장면 내에 통합합니다.

Midnight AI Groove 26-06-05

로컬 LLM이 실제 질의의 71%를 답변: MiMo가 기준을 세우다

Stanford의 최신 연구에 따르면 로컬 모델의 실제 질의 해결률이 2023년 23.2%에서 71.3%로 급증했습니다. 또한 Xiaomi의 MiMo 모델이 1조 파라미터 규모임에도 높은 성능을 보여주며 프론티어 API 의존도를 낮추고 있습니다.

공격과 방어 학습하기: GRPO를 통한 언어 모델의 적응형 레드팀 (Adaptive Red Teaming)

GRPO를 활용하여 공격자와 방어자를 동시에 학습시키는 AdvGRPO 프레임워크를 제안합니다. 밀집 다채널 보상과 분리된 어드밴티지 정규화를 통해 GRPO의 불안정성을 해결하고, 효과적인 적응형 레드팀 학습을 가능하게 합니다.