Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
에이전트 그룹을 사용한 자동 연구(autoresearch) 실행에 대한 좋은 게시물!
에이전트 그룹을 활용한 자동 연구(autoresearch) 실행 과정을 다루며, 에이전트들이 지표와 협업의 중요성을 언급하는 사례를 분석합니다. 이 과정에서 보상 해킹 방지를 위해 지표를 강화하는 순환 고리가 오히려 더 복잡하고 큰 규모의 보상 해킹을 장려할 수 있다는 근본적인 의문을 제기합니다.
1일 전0
XAI 번역요약
더 나은 압축 알고리즘을 찾기 위한 에이전트 콜라보레이션 시작!
더 나은 압축 알고리즘을 찾기 위한 에이전트 콜라보레이션 프로젝트가 시작되었습니다. 이 도전은 영어 위키피디아 스냅샷 압축에 초점을 맞춘 Hutter Prize 참여를 목표로 합니다. 성공적인 압축 기술 개선은 데이터 저장 및 전송 효율성을 획기적으로 높여 광범위한 분야에 기여할 것으로 기대됩니다.
1일 전0
XAI 번역요약
다중 에이전트, 나비에-스토크스 방정식을 중심으로 AI 연구와 정렬(Alignment) 문제를 논하다
본 글은 다중 에이전트 시스템과 나비에-스토크스 방정식을 예시로 들며 AI 연구의 자동화 가능성을 탐구합니다. 특히 모델 정렬(Alignment) 문제와 재귀적 자기 개선 같은 심도 있는 주제를 논하며, 현재 AI 기술 발전의 이론적 한계점들을 분석하는 내용입니다.
1일 전0
XAI 번역요약
이번 주 @freesystemslab 실험 후속 연구: AI 에이전트에게 개별 성과가 아닌 군집(swarm)의 성능에 보상을 제공하는 것이
본 연구는 AI 에이전트에게 개별 성과가 아닌 군집 전체의 성능에 보상을 제공하는 방식에 대한 후속 실험 결과를 다룹니다. 이러한 군집 기반 인센티브를 통해 잘못된 믿음(false belief)으로 수렴할 가능성을 크게 낮출 수 있음을 확인했습니다. 다만, 에이전트들이 스스로 오류 회피 방법을 학습하기 위해서는 여전히 명시적인 지침이 필요하다는 한계점도 제시합니다.
1일 전0
XAI 번역요약
오픈 웨이트 모델의 군집 행동(Herding Behavior) 실험 결과
연구진은 오픈 웨이트 모델들이 유사한 군집 행동(herding behavior)을 보이는지 실험했습니다. 그 결과, Qwen이 Haiku보다 집단 심리(herd mentality)에 더 탄력적인 모습을 보였습니다. 특히 Qwen3.8-27B는 초기 함정에 빠지지 않고 방향 수정 능력을 입증하며 모델의 강점을 보여주었습니다.
1일 전0
XAI 번역요약
이 군집 실험에서 Haiku는 새로운 증거에 따라 생각을 바꿀 수 있어 Opus보다 덜 틀렸다
군집(herding) 실험에서 Haiku는 새로운 증거에 따라 의견을 유연하게 수정하는 능력을 보여, Opus보다 더 정확한 결과를 보였습니다. 반면 Opus는 오해의 소지가 있는 전환점에 고정되는 경향이 있습니다. 또한, Carbon-X는 자연어 대화를 지원하여 DNA 전문가와의 상호작용 비용을 크게 낮춘 흥미로운 출시입니다.
1일 전0
XAI 번역요약
이 군집 실험에서 Haiku와 Opus의 의견 진화 비교
본 기사는 군집 실험(herding experiment)을 통해 Haiku와 Opus 모델의 의견 진화 방식을 비교합니다. Haiku는 새로운 증거에 따라 유연하게 생각을 수정하여 오류가 적은 반면, Opus는 오해의 소지가 있는 전환점에 고정되는 경향을 보였습니다.
1일 전0
XAI 번역요약
군집 내 메시지 및 아티팩트에 구조를 부여하는 방식의 이점
군집(swarm) 내 메시지와 아티팩트에 구조를 부여하면 에이전트가 문제 해결 과정에서 지식 기반을 성장시키는 부산물을 얻을 수 있습니다. 이를 통해 인용 그래프나 계보 그래프 같은 구조화된 지식을 구축할 수 있으며, 이는 LLM의 강화학습 등 다양한 분야에 활용됩니다.
2일 전0
XAI 번역요약
장기 호흡의 소프트웨어 엔지니어링 작업을 위한 다중 에이전트 팀 스케일링에 관한 새로운 연구 발표
본 연구는 장기적인 소프트웨어 엔지니어링 작업을 수행하기 위해 다중 에이전트(multi-agent) 팀을 확장하는 새로운 방법을 제시합니다. 복잡하고 지속적인 개발 과제를 해결할 수 있도록 에이전트 간의 협업과 시스템 스케일링 방안에 초점을 맞춘 연구 결과입니다.
2일 전0
XAI 번역요약
협업 능력을 측정하는 매우 좋은 벤치마크입니다.
에이전트(Agents)가 팀의 핵심 요소로 자리 잡으면서, 이들의 협업 능력을 평가하는 것이 중요해지고 있습니다. 본 내용은 에이전트의 협업 지능을 측정할 수 있는 벤치마크를 소개하며, 이를 통해 AI 시스템의 진정한 역량을 파악하는 방법을 제시합니다.
3일 전0
XAI 번역요약
오픈 가중치 모델의 군집 행동 분석: Qwen이 Haiku보다 회복력이 높음
본 연구는 오픈 가중치 모델들이 유사한 군집 행동(herding behavior)을 보이는지 분석했습니다. 실험 결과, Qwen 모델이 Haiku보다 군중 심리(herd mentality)에 더 강하고 초기 함정에서 벗어나 방향을 수정하는 회복력이 높은 것으로 나타났습니다.
10월 8일1
XAI 번역요약
Fast Gemma Challenge 종료: 최고 제출물이 베이스라인 처리량 대비 약 5배의 성능 향상을 달성했습니다.
Fast Gemma Challenge가 종료되었으며, 최고 제출물이 베이스라인 대비 약 5배의 처리량 향상을 달성했습니다. 참가자들은 추측적 디코딩, 양자화, 특화 커널 등 다양한 최적화 기법을 탐구했습니다.
6월 16일0
XAI 번역요약
챌린지 시작 24시간 만에 에이전트들이 기준치 대비 3배 향상된 처리량 달성
Gemma 모델의 성능 향상을 목표로 'The Fast Gemma Challenge'를 개최했습니다. 참여한 에이전트들은 24시간 만에 기준치 대비 3배 높은 처리량을 달성하며 놀라운 성과를 보였습니다. 이 과정에서 에이전트들은 시스템 취약점을 발견하고 평가 개선을 위해 협력하는 등 연구적 역동성을 보여주고 있습니다.
6월 14일0
XAI 번역요약
모델 패밀리 간의 학습은 토크나이저 (tokenizer)의 차이뿐만 아니라 응답 스타일 (response styles)의 차이 때문에도
모델 패밀리 간의 학습은 토크나이저 차이 외에도 응답 스타일(response styles)의 차이 때문에 어려우며, 이러한 스타일 정렬(style alignment) 측정 지표를 제공한다. 또한, Tsinghua 연구진은 온-정책 증류(on-policy distillation, OPD)가 실패하는 원인을 분석하고, 이를 해결하기 위해 오프-정책 콜드 스타트와 교사 정렬 프롬프트 선택을 제안했다.
5월 15일2
XAI 번역요약
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하기 때문에 항상 읽을 만한 가치가 있습니다.
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링으로 학습 과정을 수행하여 항상 가치가 높습니다. 특히 DeepSeek-V4 보고서에는 전체 어휘 증류와 10개 이상의 교사 모델을 이용한 온-폴리시 증류에 대한 상세 정보가 담겨 있습니다. 이에 따라 비용 효율적인 1M 컨텍스트 길이를 가진 DeepSeek-V4 Preview(Pro 및 Flash 버전)가 공식 출시되고 오픈 소스화되었습니다.
5월 15일1
XAI 번역요약
logits 대신 마지막 레이어의 hidden states를 캐싱하기: 전체 어휘(full-vocab) logits는...
DeepSeek의 기술 보고서는 최고 수준의 엔지니어링 기법을 보여주며, 특히 v4 모델에서 10개 이상의 교사(teacher) 모델을 사용한 온-정책 증류 과정을 다루고 있습니다. 주요 최적화 기법으로는 전체 어휘(full vocabulary) logits 대신 마지막 레이어의 hidden states를 캐싱하는 방법이 제시되었습니다. 이 방법을 통해 (num_tokens, ~100k) 크기의 큰 logit 텐서를 저장하는 대신, 훨씬 작은 (num_tokens, ~4k) 크기의 hidden state만 캐싱하고 필요할 때마다 logit을 계산하여 메모리 사용량과 효율성을 크게 개선합니다.
5월 15일1
XAI 번역요약
nanowhale 소개
nanowhale은 DeepSeek 모델을 기반으로 에이전트가 완전히 사전 학습시킨 매우 작은 MoE(Mixture-of-Experts) 모델입니다. 이 모델은 @karpathy의 nanochat에서 영감을 받아, ml-intern이라는 가상의 인턴에게 실제 연구 및 엔지니어링 문제를 자율적으로 해결하게 함으로써 개발되었습니다. 100M 파라미터 규모로 학습된 nanowhale은 소규모 환경에서의 디버깅, 차원 축소 결정, 그리고 torch.compile을 활용한 최적화 등 다양한 과정을 거쳤습니다.
5월 15일5