추론 모델 평가하기: 프로세스, 결과 및 CoT 충실도

추론 모델(Reasoning models)의 평가 방식 변화를 다룹니다. 최종 답변의 정답 여부뿐만 아니라, 모델이 생성하는 사고 사슬(CoT)의 과정과 충실도를 평가하는 것이 중요함을 강조합니다.

퍼센트와 그것이 측정하는 것: 치매 관련 헤드라인을 정직하게 읽는 법

치매 관련 연구 결과의 통계 수치를 해석할 때 발생하는 오해를 경고합니다. 하위 그룹 분석 결과나 척도상의 미세한 차이가 실제 임상적 의미로 과장되어 보도되는 사례를 분석합니다.

AI 모델 리포팅: Microsoft가 제작한 OCR 기능이 포함된 AI?

André Dias Moreira Prol 작성 — 멀티모달 AI: 텍스트, 이미지, 오디오 및 비디오

멀티모달 AI가 텍스트, 이미지, 오디오, 비디오를 통합된 벡터 공간에서 처리하며 기존의 분절된 방식에서 벗어나고 있습니다. GPT-4o와 같은 모델은 네이티브 융합을 통해 문맥 손실을 줄이고 지연 시간을 단축하여 인간과 유사한 상호작용을 가능하게 합니다.

AI 소설 이어쓰기 360라운드 테스트 결과: 장편 서사에서 모델이 실패하는 세 가지 방식

9개의 모델을 대상으로 360라운드에 걸친 장편 소설 이어쓰기 테스트를 진행하여, LLM이 장기 서사 생성 시 겪는 세 가지 주요 실패 패턴을 분석했습니다. 모델이 문체는 완벽히 모방하더라도 장기적인 줄거리 일관성을 유지하는 데 한계가 있음을 보여줍니다.

우리의 LLM 심사위원들이 인간의 글을 88%의 확률로 "AI 맛이 난다"고 판정하다

LLM을 심사위원으로 활용해 인간의 글과 AI의 글을 구분하는 실험에서 LLM이 인간과 정반대의 판단을 내리는 현상을 분석했습니다. LLM 심사위원들이 세부 정보 밀도를 인간다움으로 오인하는 편향을 발견했으며, 이를 방지하기 위한 골드 캘리브레이션의 중요성을 강조합니다.

시각적 대조 자기 증류 (Visual Contrastive Self-Distillation): 시각-언어 모델 (VLM) 학습의 단순화

VCSD는 외부 교사 모델이나 특권적 답변 없이도 VLM의 성능을 높일 수 있는 새로운 자기 증류(Self-Distillation) 기법입니다. 이미지 콘텐츠를 제거한 버전과 원본을 대조하여 모델이 시각적 정보에 더 집중하도록 학습 과정을 단순화합니다.

실패하는 에이전트를 첫 단계에서 감지하여 추론을 최대 60% 절감하는 조기 중단 기법

Jacquard: '이 코드가 무엇을 건드릴 수 있는가?'라는 질문이 한 줄로 해결되는 언어

Jacquard는 코드가 시스템에 미치는 영향(Effect)을 타입 시스템에 명시하여 보안과 예측 가능성을 높이는 연구용 프로그래밍 언어입니다. 네트워크, 파일 접근 등의 효과를 타입에 포함하고 컴파일러와 런타임이 이를 강제함으로써 코드의 의도를 명확히 합니다.

오늘 Hugging Face에서 가장 주목받는 10개의 AI 논문: 자기 개선 에이전트부터 '능동적 관찰자(active observers)'를

Hugging Face에서 가장 주목받는 10개의 최신 AI 논문을 소개합니다. 자기 개선 에이전트(AREX), 사후 학습, 비전 모델, 확산 언어 모델 등 다양한 연구 분야의 핵심 아이디어와 응용 분야를 다룹니다.

SkillCorpus가 80만 개로 측정한, 스킬은 많을수록 효과적인가

동일한 제1원칙 식품 프롬프트, 다양한 LLM: Model Lab의 동물성 vs 식물성 칼로리 점유율 차트

동일한 프롬프트와 제약 조건을 다양한 최첨단 LLM에 적용하여 식품 영양 성분(동물성 vs 식물성 칼로리 비율)에 대한 추론 차이를 비교한 실험입니다. 모델의 지능 점수와 영양학적 판단 사이의 상관관계를 분석합니다.

기하학 가이드 커널 트랜스포머(Geometry-guided Kernel Transformer)를 통한 효율적이고 견고한 2D-to-BEV 표현

Geometry-guided Kernel Transformer를 활용하여 2D 이미지를 BEV(Bird's-Eye-View)로 효율적이고 견고하게 변환하는 기술을 소개합니다. 기하학적 가이드를 통해 표현력을 높인 것이 특징입니다.

Claude Opus 5 System Card

Anthropic가 공개한 Claude Opus 5의 성능, 안전성 및 정렬(alignment) 평가 결과를 담은 공식 시스템 카드입니다. 벤치마크 결과와 사이버 보안, 생물학적 위험 평가 등 모델의 안전성 검증 내용을 상세히 다룹니다.

ByteDance 연구진, FlowMimic 제안

ByteDance 연구진이 마스크 없이 이미지 편집만으로 비디오 편집 데이터를 실시간 생성하는 FlowMimic 프레임워크를 제안했습니다. 단일 1.3B 모델을 통해 추가 모듈 없이 다양한 비디오 편집 작업을 수행할 수 있습니다.

Open-AoE

Ant Group이 스마트폰으로 수집한 2,000시간 분량의 1인칭 시점 조작 데이터를 공개했습니다. 이 데이터셋은 손 포즈, 카메라 궤적, 원자적 동작 및 모델 학습을 위한 전체 툴체인을 포함합니다.

프롬프트 엔지니어의 종말

AI가 그래프 이론의 수십 년 된 미해결 추측들을 반박하거나 증명하는 사례가 나타나고 있습니다. 단순한 프롬프트 명령만으로도 복잡한 수학적 반례를 도출하는 등 AI의 연구 역량이 비약적으로 발전하고 있음을 보여줍니다.

2.8조 개의 파라미터 (parameters)

2.8조 개의 파라미터와 100만 토큰 컨텍스트를 지원하는 새로운 모델이 공개되었습니다. Kimi Delta Attention 기술을 통해 디코딩 속도를 높이고 메모리 사용량을 획기적으로 줄였습니다.

LLM Judge에 대한 허위 주장을 작성했습니다. 그리고 사과 실험을 진행했습니다.

LLM Judge의 방향성 실패(directional failure)에 대한 이전의 잘못된 주장을 바로잡고, 실제 실험을 통해 재검증한 결과를 공유합니다. 20개의 시나리오와 3개의 모델 계층을 대상으로 대규모 재실험을 수행하여 모델 크기에 따른 판단 정확도 차이를 분석했습니다.

모델 붕괴 (Model collapse): AI가 세대를 거듭하며 AI 생성물로 학습할 때 발생하는 현상 — 그리고 한 줄의 해결책

AI 생성 콘텐츠가 다시 AI 학습 데이터로 사용되는 재귀적 루프가 모델의 성능을 저하시키는 '모델 붕괴(Model Collapse)' 현상을 분석합니다. 데이터의 희귀 사례 소실, 분포의 평균화, 분산의 점진적 감소라는 세 가지 메커니즘을 통해 모델이 어떻게 파괴되는지 설명합니다.