G検定 '모델 경량화' 공략: 증류, 가지치기, 양자화를 다이어트에 비유하여 이해하기

본 글은 G検정 수험생이 모델 경량화 기법(증류, 가지치기, 양자화)을 'AI 모델 다이어트'에 비유하여 쉽게 설명합니다. 고성능 모델을 엣지 디바이스에서 구동하기 위해 필수적인 이 기술들은 각각 지식 전수, 불필요한 가중치 제거, 데이터 정밀도 압축을 수행합니다.

OpenAI가 자체 모델의 프롬프트 인젝션 취약성을 탐색하는 사내 전용 자동 레드티밍 AI인 'GPT-Red'를 발표했습니다. GPT-Red는 자기 대전 강화학습을 통해 공격과 방어를 반복하며 안전성을 극대화합니다. 이 기술은 모델 훈련에 직접 통합되어, 기존 대비 공격 실패율을 크게 낮추고 성능 우위를 입증했습니다.

Apple, OpenAI 및 전직 직원 2명 상대로 영업 비밀 절도 소송 제기 (시간 순 정리)

Apple이 OpenAI와 전직 직원 2명을 상대로 영업 비밀 절도 소송을 제기했습니다. 이 소송은 기밀 기술 문서 다운로드 및 프로젝트 코드네임 사용 등 지적 재산권 침해를 핵심으로 다루고 있습니다.

OpenAI가 GPT-5.6 모델 패밀리를 Sol, Terra, Luna 세 가지 라인업으로 공개했습니다. 플래그십 'Sol'은 최고 성능과 전문성을 자랑하며, 'Terra'는 저비용의 균형 잡힌 대안을 제공합니다. 'Luna'는 가장 빠르고 경제적인 경량 모델로, 사용 목적에 따라 선택할 수 있게 되었습니다.

AI에게 '요리 콘테스트'를 시켰더니 인류의 기록을 경신했다 ― 하지만 심사위원을 관대하게 대하면 '꼼수'를 부린다

AlphaEvolve, ASI-Arch 등 최신 AI 모델들이 공유하는 '진화 루프' 메커니즘을 요리 콘테스트에 비유하여 설명합니다. 평가기(evaluator)의 설계가 AI의 성능과 '꼼수' 방지에 결정적인 역할을 함을 강조합니다.

TurboQuant 논문을 통해 KV 캐시 양자화 기술의 핵심 원리를 분석합니다. 무작위 직교 회전을 통해 이상치를 분산시킨 후 최적의 스칼라 양자화를 적용하여 정밀도 손실을 최소화하는 방법을 다룹니다.

SWE-Together는 AI 에이전트의 코딩 능력을 단순 성공 여부가 아닌, 사용자의 수정 횟수를 통해 측정하는 새로운 대화형 벤치마크입니다. 실제 코딩 과정에서의 상호작용과 마찰을 정량화하여 에이전트의 효율성을 평가합니다.

Anthropic이 모델의 내부 활성화 상태에서 언어적 개념을 직접 추출하는 해석 가능성(interpretability) 연구인 J-lens를 공개했습니다. 이 연구는 모델의 텍스트 출력(CoT)과 실제 내부 계산 사이의 간극을 메우고, 모델 내부의 '언어적 워크스페이스'를 규명합니다.

GLM-5.2와 Claude Fable 5의 추론 능력 및 출력 예산(output budget)에 따른 성능을 비교 분석했습니다. GLM-5.2는 출력 토큰 제한을 늘릴 경우 수학·물리 추론에서 정확도를 보였으나, Claude Fable 5는 낮은 예산에서도 안정적인 결과와 완성도 높은 코드 생성을 보여주었습니다.

에이전트에서 팽창하는 KV 캐시를 prefix 캐시를 파괴하지 않고 쳐내는 IntentKV

에이전트 실행 시 발생하는 KV 캐시 팽창 문제를 해결하기 위해, prefix 캐시를 파괴하지 않고 메모리를 관리하는 IntentKV 기술을 소개합니다. 기존의 KV 축소 방식이 가진 위치 정보 왜곡 문제를 '파수꾼 슬롯(Sentinel slot)' 교체 방식으로 해결하여 prefix 캐시 히트율을 획기적으로 높였습니다.

AI 기술의 전체상을 파악하기 위해 서베이 논문을 활용하고 NotebookLM으로 정리하는 방법을 소개합니다. Google Scholar와 arXiv 등을 통해 양질의 논문을 찾고, 이를 체계적으로 학습하는 워크플로우를 제안합니다.

Anthropic이 새로운 중위 프론티어 모델인 Claude Sonnet 5를 출시했습니다. 이번 모델은 높은 에이전트 성능을 갖추어 자율적인 태스크 수행이 가능하며, 합리적인 가격으로 고성능 기능을 제공하는 데 초점을 맞추고 있습니다.

OpenAI의 GPT-5.6 시리즈 발표와 함께 전 모델에 대한 고위험 경고가 내려졌으며, Anthropic은 과학 연구 특화 에이전트인 Claude Science를 공개했습니다. 또한 Meta가 Llama의 오픈 웨이트 전략을 버리고 독점 모델인 Muse Spark로 로드맵을 전환했다는 소식을 전합니다.

범주론은 랭글랜즈 프로그램의 기반이 될 수 있는가? ── 집합론에서 함수적 범주론 세계관으로, 부르바키 시리즈의 중단이 시사하는 것

랭글랜즈 프로그램과 범주론의 관계를 통해 수학적 대통합의 원리를 탐구합니다. 수론, 기하학, 물리를 잇는 구조적 대응 관계를 설명하며, 범주론적 딥러닝과 같은 최신 연구의 이론적 토대를 제시합니다.

Claude 모델 라인업에 Mythos급인 Fable 5가 추가되며 새로운 계층 구조가 형성되었습니다. Fable 5는 단순 지능 향상을 넘어 장시간 자율 가동(Autonomous operation)을 목표로 설계된 모델입니다.

중국 Meituan이 공개한 1.6조 파라미터 규모의 MoE 모델 LongCat-2.0은 NVIDIA GPU 없이 중국제 ASIC 클러스터만으로 훈련되었습니다. 100만 토큰의 컨텍스트 길이를 지원하며, 오픈 웨이트 모델로서 프론티어 모델들과 경쟁할 만한 코딩 성능을 보여줍니다.

z-lab에서 발표한 DFlash는 기존 투기적 디코딩의 순차적 방식 한계를 극복하기 위해 블록 확산(Block Diffusion) 방식을 도입했습니다. 이를 통해 초안 생성 시 발생하는 병목 현상을 해결하여 EAGLE-3 대비 최대 2.5배, 표준 방식 대비 6배 이상의 속도 향상을 달성했습니다.

Mistral의 Leanstral 1.5 모델이 Lean 4 증명 지원 시스템을 활용해 실제 오픈소스 프로젝트에서 5건의 미보고 버그를 발견했습니다. 수학적 증명을 통해 LLM의 할루시네이션을 억제하며, 기존 벤치마크를 포화시킨 후 실제 코드 검증 단계로 진입했음을 보여줍니다.

Johns Hopkins 대학교 연구팀이 제안한 SelfCompact는 AI 에이전트가 스스로 문맥 요약(Compaction) 타이밍을 결정하는 기술입니다. 고정된 간격이 아닌, 작업의 진행 상태를 판단하여 필요한 순간에만 문맥을 요약함으로써 작업 메모리를 효율적으로 관리합니다.