Gemma 2의 아키텍처: 더 작은 모델로 더 높은 성능 구현

Google의 새로운 Gemma 2 모델은 오픈 소스 AI가 나아갈 방향에 대한 강력한 신호를 보내고 있습니다. 27B 파라미터 모델은 자신의 크기보다 두 배 이상 큰 모델들과 경쟁할 만한 성능을 제공하며, 더 작은 변체(variants)들도 체급을 훨씬 뛰어넘는 성능을 보여줍니다. 이는 단순히 더 큰 학습 데이터셋 때문만이 아닙니다. 효율성을 우선시하는 구체적이고 실질적인 아키텍처(architectural) 변화의 결과입니다.

하이브리드 어텐션 메커니즘 (a hybrid attention mechanism)

모든 트랜스포머(transformer)의 핵심은 어텐션(attention) 메커니즘이지만, 표준 셀프 어텐션(self-attention)은 계산 병목 현상을 일으키는 이차 복잡도(quadratic complexity)를 가집니다. Gemma 2는 단 하나의 어텐션 전략만을 고집하지 않음으로써 이 문제를 해결합니다. 대신, 레이어 내에서 두 가지 유형인 로컬 슬라이딩 윈도우 어텐션(local sliding window attention)과 전체 글로벌 어텐션(full global attention)을 교대로 사용합니다.

로컬 어텐션 레이어는 4096 토큰의 슬라이딩 윈도우를 사용합니다. 이를 통해 모델은 즉각적인 문맥(context)을 효율적으로 처리할 수 있습니다. 이와 함께 전체 8192 토큰 문맥 길이를 아우르는 글로벌 어텐션 레이어가 교차 배치됩니다. 이러한 하이브리드 접근 방식은 모든 레이어에서 전체 이차 비용(quadratic cost)을 지불하지 않으면서도, 로컬 어텐션의 효율성과 글로벌 어텐션의 포괄적인 문맥 인지 능력을 모두 모델에 부여합니다.

더 스마트한 추론과 안정성 (smarter inference and stability)

하이브리드 어텐션 외에도, Gemma 2는 성능과 효율성을 향상시키기 위해 알려진 여러 다른 기술들을 통합했습니다. 가장 중요한 것 중 하나는 그룹 쿼리 어텐션 (Grouped-Query Attention, GQA)입니다. 각 쿼리 헤드(query head)가 자신만의 키(key)와 값(value) 헤드를 갖는 대신, GQA는 여러 쿼리 헤드가 단일 키/값 세트를 공유할 수 있도록 합니다. 이는 추론(inference) 중에 필요한 메모리 대역폭을 줄이고 생성 속도를 높여줍니다. 9B 및 27B 모델은 모두 GQA를 사용하며, 가장 작은 2B 모델은 더 공격적인 변체인 멀티 쿼리 어텐션 (Multi-Query Attention, MQA)을 사용합니다.

더 작은 모델들을 위한 학습 방식 또한 전략적인 업데이트를 거쳤습니다. 2B 및 9B 모델은 단순히 표준적인 다음 토큰 예측 (next-token prediction) 방식만을 사용하는 대신, 더 크고 유능한 교사 모델 (teacher model)로부터 지식 증류 (knowledge distillation)를 사용하여 학습되었습니다. 이를 통해 더 작은 모델들이 더욱 미묘한 패턴을 학습할 수 있게 되어, 모델 크기 대비 더 나은 성능을 구현할 수 있습니다. 안정성에 초점을 맞춘 다른 변경 사항으로는 RMSNorm을 사용하여 사후 정규화 (post-normalization)와 사전 정규화 (pre-normalization)를 혼합하여 사용한 것과, 학습 중 불안정성을 방지하기 위해 로짓 소프트 캡핑 (logit soft-capping)을 적용한 것이 있습니다.

개발자들에게 이것이 의미하는 바

실질적인 시사점은 최첨단 오픈 모델 (state-of-the-art open models)의 접근성이 높아지고 있다는 것입니다. 효율성 향상 덕분에 Gemma 2 27B와 같은 모델을 단일 NVIDIA H100 GPU 또는 그에 상응하는 TPU 호스트에서 실행할 수 있어 배포 비용을 절감할 수 있습니다. 더 작은 모델들은 온디바이스 (on-device) 및 소비자급 하드웨어에서도 충분히 효율적으로 작동하도록 설계되었습니다.

개발자들에게 이는 고품질 오픈 모델을 실험하고 배포하는 데 있어 진입 장벽을 낮춰줍니다. Ollama와 같은 도구를 사용하여 강력한 지시어 튜닝 (instruction-tuned) 모델을 로컬 환경에서 바로 시작할 수 있습니다.

ollama run gemma2:27b

이러한 아키텍처 효율성을 향한 추세는 오픈 모델의 성능 하한선이 빠르게 상승하고 있음을 의미합니다. 우리는 단순히 파라미터 수 (parameter counts)를 쫓는 것보다 더 지속 가능하고 궁극적으로 더 유용한 방향인, 파라미터당 더 높은 지능을 얻고 있습니다.

Gemma 2의 출시는 오픈 모델의 미래 경로가 단순히 규모를 키우는 것(scaling up)에만 있지 않음을 보여줍니다. 이는 슬라이딩 윈도우 어텐션 (sliding window attention), GQA, 그리고 지식 증류 (knowledge distillation)와 같이 검증된 기술들을 결합하여 강력하면서도 실행하기 실용적인 모델을 만드는 영리한 아키텍처 합성 (architectural synthesis)에 관한 것입니다. 이러한 시스템을 기반으로 구축하는 엔지니어들에게 이는 반갑고도 중요한 변화입니다.

출처

• Gemma 2: Improving Open Language Models at a Practical Size (Technical Report)
• Gemma 2 on Hugging Face