Distill to Detect: Cartridge Distillation을 통한 LLM의 은밀한 편향성 노출

LLM이 특정 엔티티나 관점에 대해 가지는 은밀한 선호 편향을 탐지하는 새로운 방법론인 Distill to Detect(D2D)를 소개합니다. KV-cache prefix adapter를 활용해 숨겨진 로짓 분포의 변화를 증폭시켜, 텍스트 검사로는 발견하기 어려운 모델의 편향성을 효과적으로 드러냅니다.

Theoria: 비형식적 추론 상태에 대한 재작성-수용 가능성 검증

Theoria는 LLM의 비형식적 추론 과정을 유형화된 상태 전이 시퀀스로 재작성하여 검증하는 새로운 아키텍처를 제안합니다. 각 전이 단계에 명시적인 정당화를 부여함으로써 숨겨진 전제나 오류를 독립적으로 감사할 수 있게 합니다. 벤치마크 결과, 기존의 전체론적 LLM 판정기보다 높은 정밀도와 오염된 증명 탐지 능력을 보여주었습니다.

상태 예측 분리 가설 (The State-Prediction Separation Hypothesis)

Transformers가 다음 토큰 예측과 상태 저장을 동일한 계산 스트림에서 수행한다는 점에 주목하여, 이 두 역할을 분리하는 '상태 예측 분리 가설'을 제안합니다. 실험 결과, 두 기능을 분리한 모델이 데이터 및 계산 효율성을 높이고 검증 손실과 다운스트림 태스크 성능을 개선함을 입증했습니다.

Midnight AI Groove 26-06-26 GPT-5.6 제한 공개, 평가의 혼란

차선책 시연으로부터의 언어 비판 모방 학습 (Language-Critique Imitation Learning from Suboptimal

차선책 시연으로부터 자연어 피드백을 활용해 정책을 학습하는 '언어 비판(Language-Critique)' 프레임워크를 제안합니다. 기존의 스칼라 신호 대신 구조화된 언어 라벨을 사용하여 행동 복제 및 확산 정책의 성능을 높였습니다.

한 개의 레이어로 충분한가? 단일 Transformer 레이어 학습이 전체 파라미터 RL 학습과 대등할 수 있는가

강화학습(RL) 사후 학습 시 모든 파라미터를 업데이트할 필요 없이, 특정 단일 Transformer 레이어 학습만으로도 전체 학습과 대등하거나 더 나은 성능을 낼 수 있음을 입증한 연구입니다. RL 이득이 모델의 중간 레이어에 집중되어 있다는 '레이어 기여도' 개념을 제시합니다.

처음부터 조립한 합성 세포가 처음으로 성장·분열함

합성생물학자 Kate Adamala 연구팀이 세포골격 없이 단백질 표지를 이용해 세포막을 물리적으로 휘게 함으로써, 처음부터 조립한 합성 세포의 성장과 분열을 성공시켰습니다. 이번 연구는 합성 세포가 복잡한 분열 과정을 거칠 수 있음을 보여준 중요한 진전이지만, 학계의 심사 과정 및 연구 윤리와 관련된 논란도 함께 제기되었습니다.

Google이 31B보다 큰 모델을 제공하지 않기에, Gemma4-31B를 44B(88개 레이어)로 확장했습니다

Google의 Gemma4-31B 모델을 기반으로 레이어를 확장하여 44B 규모의 모델을 직접 구축한 사례를 공유합니다. LLaMA Pro 방식의 identity-init을 적용하여 레이어를 88개로 늘렸으며, 한국어 법률 및 STEM 데이터로 미세 조정하여 새로운 도메인 지식 수용 능력을 실험했습니다.

속도 vs 품질: M5 Max에서 7개의 오픈 웨이트 (open-weights) 모델 벤치마킹

M5 Max 128GB 환경에서 7개의 오픈 웨이트 모델을 대상으로 코드 이해 및 생성 능력을 벤치마킹했습니다. 모델의 크기, 양자화 방식(MXFP8, MLX 등), 추론 속도와 답변 품질 사이의 트레이드오프를 분석했습니다.

얼마나 많은 랜덤 시드(Random Seeds)가 필요할까? 심층 강화학습 (Deep Reinforcement Learning) 실험에서의

심층 강화학습(Deep Reinforcement Learning) 실험의 신뢰성을 확보하기 위해 필요한 적절한 랜덤 시드(Random Seeds)의 개수에 대해 탐구합니다.

LongCat-2.0 공개 - Nvidia 없이 학습한 1.6조 파라미터 오픈소스 모델

1.6조 파라미터 규모의 MoE 오픈소스 모델인 LongCat-2.0이 공개되었습니다. Nvidia GPU가 아닌 AI ASIC 슈퍼팟을 활용해 학습에 성공했으며, LSA 기술을 통해 1M 컨텍스트 처리 성능을 강화했습니다.

코딩을 위한 Fable 5 vs Grok 4.5: 7개 보고서 종합 (2026년 7월)

2026년 7월 기준 Claude Fable 5, Grok 4.5, GPT-5.6 Sol 등 주요 코딩 모델의 성능과 비용을 비교 분석합니다. Fable 5가 SWE-Bench Pro에서 역대 최고치를 기록하며 우위를 점한 가운데, 각 모델의 벤치마크 지표와 가용성을 종합적으로 다룹니다.

접근 가능하거나 오픈 소스(open-source)인 AI 시스템이 더 안전한 이유

오픈 소스 AI 시스템이 더 많은 검증과 테스트를 통해 보안 결함을 빠르게 발견하고 수정할 수 있어 더 안전하다는 점을 강조합니다. 이를 위해 연구 기관 연합과 함께 AI 결함 보고 표준인 FLARE를 출시했습니다.

차분 프라이버시 (Differentially Private) 합성 데이터 생성 알고리즘 벤치마킹

차분 프라이버시(Differential Privacy)를 적용한 합성 데이터 생성 알고리즘의 성능을 벤치마킹한 연구 내용을 다룹니다. 데이터 프라이버시를 보호하면서도 데이터의 유용성을 유지하는 알고리즘들을 비교 분석합니다.

가우시안 혼합 모델 (Gaussian Mixture Models): EM 알고리즘을 이용한 소프트 클러스터링 (Soft Clustering)

가우시안 혼합 모델(GMM)의 원리와 EM 알고리즘을 통한 소프트 클러스터링 과정을 설명합니다. K-Means의 한계를 넘어 데이터의 확률적 분포와 타원형 클러스터를 표현하는 방법을 다룹니다.

100층 네트워크를 학습 가능하게 만든 단 하나의 "+x": ResNet Skip Connections

ResNet의 핵심인 스킵 연결(Skip Connection)이 심층 신경망의 그래디언트 소실 문제를 어떻게 해결하는지 설명합니다. 잔차 학습(Residual Learning)을 통해 네트워크가 항등 매핑을 쉽게 학습하도록 돕고, 깊은 층에서도 안정적인 역전파를 가능하게 합니다.

ChatGPT가 예전보다 멍청해졌다고 느끼셨나요?

AI가 생성한 데이터로 학습된 차세대 AI 모델이 성능이 저하되는 '모델 붕괴(Model Collapse)' 현상을 설명합니다. Oxford와 Cambridge 연구진은 AI 데이터가 반복 학습될수록 창의적이고 희귀한 정보가 사라지고 평균적인 결과물만 남게 된다고 경고합니다.

긴급 소식: 드디어 출시되었습니다. Claude Fable 5 — 대중에게 공개된 모델 중 가장 강력한 모델 — 가 오늘 밤부터 다시 앱에서

Anthropic의 새로운 모델 Claude Fable 5가 출시되었습니다. 이 모델은 SWE-Bench Pro에서 80.3%라는 압도적인 성능을 기록하며 코딩 및 복잡한 문제 해결 능력을 입증했습니다.

저전력 자율 배포를 위한 스마트 농업 마이크로그리드 오케스트레이션을 위한 희소 연합 표현 학습 (Sparse Federated

저전력 IoT 환경인 스마트 농업 마이크로그리드를 위해 희소 연합 표현 학습(Sparse Federated Representation Learning)을 적용하는 연구를 다룹니다. 통신 오버헤드와 에너지 소모를 줄이기 위해 희소 신경망의 효율성을 연합 학습에 결합하는 방안을 제시합니다.