대부분의 제품 관리자(Product Managers)는 모델의 품질과 기능에 집중하지만, 그 아래에 숨겨진 조용한 성능 계층이 현재 실제로 출시 가능한 기능이 무엇인지를 결정하고 있습니다.

대부분의 PM이 결코 보지 못하는 숨겨진 성능의 벽

만약 AI 기능을 출시했다가 벽에 부딪힌 적이 있다면 — 즉, 지연 시간(Latency)이 너무 높거나, 비용이 급증하거나, 응답이 느리다는 사용자 불만이 접수되었다면 — 여러분은 아마 "모델 문제"라거나 "더 나은 인프라가 필요하다"라는 말을 들었을 것입니다. 하지만 때로는 이 중 어느 것도 사실이 아닐 수 있습니다.

진정한 병목 현상은 대부분의 비기술적 제품 관리자들이 들어본 적도 없는 계층에 존재할 수 있습니다. 바로 GPU가 실제로 AI 계산을 어떻게 실행할지 알려주는 연산 작업(Compute operations)입니다. 이것을 커널(Kernels)이라고 부르며, 이는 여러분의 모델 수학을 실제 세계의 속도로 변환하는 머신 레벨의 명령어(Machine-level instructions)입니다.

이것이 지금 중요한 이유는 다음과 같습니다: AI 모델은 놀라울 정도로 강력해졌지만, 그 강력함에는 막대한 연산 비용(Compute price tag)이 따릅니다. 사용자가 프롬프트를 보내거나 이미지를 생성할 때마다, 모델은 GPU 메모리 전반에 걸쳐 수천 개의 수학적 연산을 수행합니다. 만약 이러한 연산이 여러분이 실행 중인 특정 하드웨어에 최적화되어 있지 않다면, 여러분은 속도와 비용 모두를 — 종종 아주 많이 — 낭비하고 있는 것입니다. 이 계층을 이해하는 제품 팀은 더 스마트한 인프라 결정을 내리고, 더 나은 클라우드 계약을 협상하며, 더 빠른 AI 경험을 출시하고 있습니다.

커널이 실제로 하는 일 (박사 학위 없이 이해하기)

GPU를 거대한 병렬 처리(Parallel processing) 기계라고 생각하십시오. GPU는 동시에 많은 계산을 수행하는 데 매우 뛰어납니다. 하지만 여전히 이러한 계산을 어떻게 조직할지에 대한 지침이 필요합니다. 그것이 바로 커널의 역할입니다.

일반적인 커널(generic kernel)은 대부분의 작업에서 잘 작동합니다. 하지만 대규모 언어 모델(Large Language Model, LLM)의 어텐션 메커니즘(attention mechanism)이나 이미지 모델의 컨볼루션(convolution) 단계와 같이 특정 연산을 위해 특별히 작성된 커스텀 커널(custom kernel)은 해당 연산을 완료하는 데 필요한 시간과 메모리를 극적으로 줄일 수 있습니다. 이는 일반적인 레시피를 따르는 것과, 요리사가 당신의 특정 주방과 장비에 맞춰 모든 단계를 최적화하는 것의 차이와 같습니다.

한동안 커스텀 커널은 대형 연구소의 숙련된 머신러닝(ML) 엔지니어들의 영역이었습니다. 이를 작성하려면 저수준 프로그래밍(low-level programming) 기술과 깊은 하드웨어 지식이 필요했습니다. 현재 변화하고 있는 점은 툴링(tooling)이 개선되고 있다는 것입니다. GPU 프로그래머 전문 팀을 내부에 두지 않고도 최적화된 커널을 더 쉽게 작성, 공유 및 배포할 수 있게 해주는 프레임워크들이 등장하고 있습니다. 이러한 민주화(democratization)가 핵심적인 변화입니다. 이제 더 작은 규모의 팀들도 이전에는 거대 AI 기업들만이 구축할 수 있었던 성능 향상을 누릴 수 있습니다.

실제 사례 - 단계별 과정

이를 맥락에 적용해 보겠습니다. 당신이 중소 규모 스타트업의 제품 관리자(Product Manager)라고 가정해 봅시다. 당신은 대규모 언어 모델(LLM)을 기반으로 한 문서 요약 도구를 구축했습니다. 사용자들이 긴 PDF 파일을 업로드하면 모델이 이를 요약합니다. 문제는 50페이지 분량의 문서를 요약하는 데 12초가 걸린다는 점입니다. 사용자들은 이탈하고 있습니다.

1단계 - 병목 현상(bottleneck) 식별. 엔지니어링 팀이 프로파일링(profiling) 도구를 실행한 결과, 계산 시간의 대부분이 모델의 어텐션 레이어(attention layers), 특히 모델이 긴 텍스트 시퀀스(sequence)를 처리하는 방식에서 소모된다는 것을 발견합니다.

2단계 - 커널 기회 포착. 해당 어텐션 연산을 처리하는 기본 커널은 일반적(generic)입니다. 이는 당신의 특정 모델 크기, GPU 유형 또는 시퀀스 길이에 맞춰 작성된 것이 아닙니다. 긴 컨텍스트 어텐션(long-context attention)을 위해 설계된 더 효율적인 커널을 사용한다면 그 시간을 크게 단축할 수 있습니다.

Step 3 - 옵션 평가 (Evaluate options). 팀은 오픈 소스 ML (Machine Learning) 생태계를 통해 사용할 수 있는 커뮤니티 기여 커널 최적화(kernel optimizations)를 검토합니다. 팀은 현재의 하드웨어 설정에 적합한 것을 찾아 스테이징 환경(staging environment)에서 테스트하고 결과를 측정합니다.

Step 4 - 배포 및 측정 (Deploy and measure). 최적화된 커널로 전환한 후, 동일한 50페이지 분량의 요약 작업이 이제 4초 미만으로 완료됩니다. 이는 모델 자체를 변경하거나, 모델 사양을 낮추거나(downgrade), 추가적인 클라우드 비용을 지출하지 않고도 거의 3배의 성능 향상을 이룬 것입니다.

Step 5 - 제품 의사결정 재구성 (Reframe the product decision). PM (Product Manager)으로서, 당신은 이제 더 비싼 모델 티어(tier)나 인프라 업그레이드를 권장하기 전에 다음과 같은 질문을 던질 가치가 있다는 것을 알게 됩니다: "우리가 커널 계층(kernel layer)을 최적화했는가?" 이는 기술 검토 프로세스에서 상시 질문으로 자리 잡게 됩니다.

오늘 바로 적용하는 방법

직접 커널을 작성할 필요는 없습니다. 하지만 더 나은 질문을 던지고 무엇이 가능한지 이해할 필요는 있습니다.

병목 현상(bottleneck)에 대한 대화부터 시작하세요. 다음 스프린트 리뷰(sprint review)나 아키텍처 논의 시, ML 엔지니어들에게 이렇게 물어보세요: "우리 모델의 연산들이 최적화된 커널에서 실행되고 있나요, 아니면 기본값(defaults)을 사용하고 있나요?" 이 질문 하나만으로도 당신이 기술 스택을 이해하고 있다는 신호를 줄 수 있으며, 종종 빠르게 성과를 낼 수 있는 지점(quick wins)을 찾아내기도 합니다.

용어를 익히세요. 어텐션 커널(attention kernels), 플래시 어텐션(flash attention), 퓨즈드 연산(fused operations)과 같은 용어들이 엔지니어링 논의에서 나타나기 시작할 것입니다. 이 용어들을 완벽히 마스터할 필요는 없습니다. 다만 이것들이 제품의 트레이드오프(tradeoff)와 관련이 있을 때 이를 인지할 수 있으면 됩니다. 이러한 용어들의 의미에 대해 10분만 읽어보아도 대부분의 PM보다 앞서 나갈 수 있습니다.

커널 최적화를 성능 기준에 포함시키세요. 새로운 AI 기능에 대해 "좋은 지연 시간(latency)"이 무엇인지 정의할 때, 다음과 같은 체크포인트를 포함하세요: "팀이 우리가 사용하는 연산에 대해 커널 수준의 최적화(kernel-level optimizations)를 사용할 수 있는지 평가했는가?" 이를 AI 비중이 높은 기능에 대한 완료 정의(definition of done)의 일부로 만드세요.

속도뿐만 아니라 비용을 생각하세요. 더 빠른 커널(Kernels)은 요청당 소비되는 GPU 초(seconds)가 적음을 의미합니다. GPU 초가 적다는 것은 추론(Inference) 비용이 낮아짐을 의미합니다. AI 제품의 단위 경제성(Unit economics)을 계산할 때, 커널 효율성은 단순한 엔지니어링 세부 사항이 아니라 실제적인 입력 변수입니다.

핵심 요약 (Key Takeaways)

• 커널(Kernels)은 GPU에서 AI 연산이 실행되는 방식을 제어하는 저수준 명령(low-level instructions)이며, 속도와 비용에 직접적인 영향을 미칩니다.
• 기본적으로는 범용 커널(Generic kernels)을 사용해도 무방하지만, 최적화된 커널(Optimized kernels)은 모델 자체를 변경하지 않고도 지연 시간(Latency)을 획기적으로 줄일 수 있습니다.
• 툴링(Tooling)이 개선됨에 따라, 전문적인 GPU 엔지니어가 없는 팀도 커널 최적화에 더 쉽게 접근할 수 있게 되었습니다.
• PM(Product Manager)으로서 당신의 역할은 커널을 직접 작성하는 것이 아닙니다. 비싼 모델이나 인프라 업그레이드를 권장하기 전에 커널 최적화가 고려되었는지 질문하는 것입니다.
• 커널 개선을 통한 더 빠른 추론은 복리 효과를 가져옵니다: 더 나은 사용자 경험, 더 낮은 클라우드 비용, 그리고 더 넓은 확장(Scale) 여유 공간을 제공합니다.

이에 대한 여러분의 경험은 어떠신가요? 아래에 댓글을 남겨주세요. 모든 댓글을 읽고 있습니다.

_참조 출처: Hugging Face Blog - Kernels: Major Updates