Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
X @_lewtun (자동 발견) 7건필터 해제
코덱스 코드 리뷰를 위해 CC 를 사용하던데, 최근 품질이 너무 나빠서 다시 직접 코드를 리뷰하게 됨
작성자는 과거에 Codex 모델의 코드 리뷰를 위해 Copilot(CC)을 활용했으나, 최근 Codex가 생성하는 코드의 품질 저하로 인해 결국 직접 코드를 검토하는 방식으로 돌아갔습니다.
100만 토큰 컨텍스트 길이 해제 및 Qwen3-30B-A3B MoE 모델 훈련 성과 발표
본 기술 기사는 100만 토큰(1M)의 대규모 컨텍스트 길이를 성공적으로 구현했음을 발표합니다. 이 성과는 Qwen3-30B-A3B MoE 모델을 활용하여 달성되었으며, 구체적인 트레이닝 환경 및 최적화 기술들(예: 8 노드 구성, DSz3+ Ulysses SP=4, FA3, torch.compile 등)이 적용된 결과입니다.
최근 바이럴 논문이 프론티어 모델의 파라미터 수를 역공학했다고 주장: GPT-5.5 = 9.7T, Opus 4.7 = 4.0T, o1 =
최근 온라인에서 유포된 논문들은 GPT-5.5, Opus 4.7 등 주요 프론티어 모델들의 파라미터 수를 역공학하여 제시하고 있습니다. 그러나 글쓴이는 해당 논문을 조사한 결과 심각한 문제점들을 발견했으며, 이를 수정했을 때 GPT-5.5의 실제 파라미터 수는 약 1.5조 개로 추정된다고 주장합니다.
transformers 에서 EP 를 활용한 매우 빠른 MoE 학습을 지원하기 위한 진행 중인 작업
transformers 라이브러리는 Expert Parallelism(EP)을 활용하여 Mixture of Experts(MoE) 모델의 학습 속도를 획기적으로 높이는 작업을 진행하고 있습니다. 이 과정에서 PyTorch의 `torch._grouped_mm`와 같은 효율적인 구현 방식이 발견되었으며, 이는 여러 전문가에게 분산된 행렬 곱셈을 단일 호출로 처리할 수 있게 합니다.
ml-intern 에서 시도를 해본다
작성자는 'ml-intern'이라는 도구를 사용해 모델 학습을 시도했으며, 이 과정에 대해 흥미를 느끼고 있습니다. 비록 Opus나 GPT-5와는 다른 분위기일지라도, 모델 학습에 필요한 데이터셋 생성 작업이 계속 진행되고 있다는 점에 주목하고 있습니다.
The @huggingface 생태계는 초기에는 인간-인간 협업을 위해 설계되었지만, 우리가 다수의 에이전트에게 어려운 문제를 해결하기 위한
본 기사는 Hugging Face 생태계가 원래 인간 간의 협업을 위해 설계되었지만, 이 능력을 다수의 AI 에이전트(agent-agent)에게 적용했을 때 어떤 시너지가 발생하는지에 대해 탐구합니다. 이를 위해 사용자가 자신의 에이전트를 가져와서 활용할 수 있는 간단한 '에이전트-에이전트 협업' 도구 세트를 구축했습니다.
Smol Training Playbook 출시: SOTA LLM 훈련에 필요한 모든 것을 공유
Smol Training Playbook 출시를 예고하는 이 글은 최첨단(SOTA) 대규모 언어 모델(LLM)을 성공적으로 훈련시키는 데 필요한 모든 지식을 집대성하여 공유할 예정입니다. 이를 통해 독자들은 자체 LLM을 구축하고 훈련하는 과정에서 마주칠 수 있는 전략적 어려움과 비용 문제를 미리 파악할 수 있습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.