AI 에이전트가 소스 코드를 보지 않고도 B200에서 NVIDIA의 FlashMLA 기준선(baseline)을 9.8% 능가하다
요약
OpenBMB는 자율 GPU 커널 최적화 시스템인 ForgeKernel Live를 B200에서 성공적으로 완료했습니다. 이 에이전트는 소스 코드 접근 없이 블랙박스를 대상으로 반복적인 저수준(low-level) 최적화를 수행하여, NVIDIA FlashMLA 기준선 대비 9.8%의 성능 향상을 달성했습니다.
핵심 포인트
- 소스 코드 없이도 블랙박스 대상 GPU 커널 최적화 가능성을 입증함.
- B200 환경에서 자율 에이전트가 저수준 코드를 반복적으로 개선함.
- FlashMLA 기준선 대비 9.8%의 성능 향상(518µs → 472µs)을 기록함.
- ForgeKernel harness와 최적화된 커널을 오픈소싱하여 공유함.
OpenBMB가 NVIDIA B200에서 약 22시간 동안 진행된 자율 GPU 커널 최적화 실행인 ForgeKernel Live를 완료했습니다. 흥미로운 점은 단순히 속도 향상에 그치지 않는다는 것입니다. 이 에이전트는 블랙박스(black box)를 대상으로 최적화를 수행했습니다. 공식 FlashMLA 구현을 실행하고 벤치마킹할 수는 있었지만, 소스 코드, 문서 또는 프로파일링 정보에는 접근할 수 없었습니다.
실행 결과 일부 수치:
- 자율 최적화: 22시간
- 반복 라운드: 42회에 걸친 32개 커널 버전
- 기준선(baseline) 최초 돌파: 10시간 이내 (버전 13)
- 최종 결과: 성능 1.098배 / 518 µs 대비 472 µs — 9.8% 속도 향상
이제 그들은 어텐션(attention), Gated DeltaNet, Kimi Delta Attention, GEMM, 컨볼루션(convolution)을 포함하는 27개 연산자와 함께 최적화된 커널을 오픈소싱하고 있습니다. 또한 다른 사람들이 자체적인 커널 최적화 실험을 실행할 수 있도록 ForgeKernel harness도 공개했습니다.
흥미로운 점은 AI가 코드를 작성하는 것에서 벗어나, 실제 성능 측정치를 기반으로 저수준(low-level) GPU 코드를 반복적으로 최적화하는 방향으로의 전환입니다. 이러한 에이전트들이 CUDA와 GPU 아키텍처에 더 능숙해짐에 따라 이 접근 방식이 얼마나 멀리 갈 수 있을지 궁금합니다.
라이브 실행: https://openbmb.cn/forgekernel/
GitHub: https://github.com/OpenBMB/ForgeKernel 제출자 /u/Equivalent-Grass-527 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기