ForgeKernel 논문 발표: DeepSeek V4.1 FlashMLA 실시간 성능 9.8% 향상

원문 발행 2026. 11. 04. 20:00원문 언어 영어AI 한국어 번역X @_guillecasaus (자동 발견) 원문 보기

요약

ForgeKernel 논문은 아키텍처 설계와 구현을 분리하고, 실행 간 발견된 지식을 공유하는 자체 진화 연산자 최적화 시스템을 제안합니다. 이 시스템은 명시적인 아키텍처 결정을 통해 모델의 구조적 병목 현상을 개선하며, NVIDIA 및 Huawei 가속기에서 높은 성능 향상(최대 1.10×)과 리더보드 1위 기록을 입증했습니다.

핵심 포인트

아키텍처 설계를 코드 구현과 분리하는 에이전트 아키텍처를 제안함.
실행 간 발견된 하드웨어 메커니즘을 지식 기반에 저장하여 재사용함.
ForgeKernel은 구조적 병목 현상 개선 및 연산자 최적화를 통합 수행함.
NVIDIA/Huawei 가속기에서 성능 향상을 입증하며 주요 벤치마크 1위를 차지함.

ForgeKernel 논문이 공개되었습니다. 지난주에 저희는 ForgeKernel을 사용하여 DeepSeek V4.1 FlashMLA의 실시간 성능을 9.8% 향상시켰습니다.

논문: https://t.co/EEAkpTZl4E

논문에 포함된 내용을 확인해 보세요:

아키텍처 의사결정 (Architectural decision-making): 저희는 아키텍처 설계를 코드 구현과 분리하는 에이전트 아키텍처를 제안하며, 명시적인 아키텍처 결정을 통해 구현을 안내하고 성능 피드백을 기반으로 이러한 결정을 수정합니다. 최적화 과정에서 구조적 병목 현상이 발생하면, 고정된 아키텍처 내에서만 국소적으로 튜닝하는 대신 작업 분할(work partitioning), 데이터 흐름(dataflow), 또는 파이프라인 구성(pipeline organisation)을 재검토합니다. 또한, 실행 간에 기존 구현의 아키텍처를 단순히 계승하기보다는 재평가합니다.
실행 간 자체 진화(cross-run self-evolution)를 위한 측정 검증 메커니즘: 저희 커널 최적화 과정에서 발견된 하드웨어 메커니즘은 대상 하드웨어에서 독립적인 프로브를 통해 검증된 후, 연산자(operators)와 입력 형태(input shapes) 전반에 걸쳐 공유되는 지식 기반(knowledge base)에 저장됩니다. 이 지식 기반은 이후 실행에서의 아키텍처 설계 및 구현 계획을 안내하며, 개별 실행에서 얻은 발견 사항들을 재사용 가능한 지식으로 변환합니다.
ForgeKernel 소개: 이는 아키텍처 수정(architectural revision), 참조 업데이트(reference updates), 지식 재사용을 통합하는 자체 진화 연산자 최적화 시스템입니다. NVIDIA Hopper 및 Blackwell GPU와 Huawei Ascend 910C 가속기에서의 평가 결과는 전문가 및 생성된 참조 대비 성능 향상을 입증하며, NVIDIA GPU에서 1.10×의 기하 평균 속도 향상(geometric-mean speedup)을 포함합니다. 2026년 10월 30일 기준으로 ForgeKernel이 생성한 제출물은 네 개의 모든 리더보드에서 1위를 차지했습니다: 세 가지 CANN-Bench 2.0 솔루션 리더보드 (Ascend 910C, 950DT, 및 950PR)와 SOL-ExecBench FlashInfer-Bench 트랙입니다.

AI 자동 생성 콘텐츠

원문 바로가기

ForgeKernel 논문 발표: DeepSeek V4.1 FlashMLA 실시간 성능 9.8% 향상

요약

핵심 포인트

댓글