sglang을 사용하여 2개의 4090 GPU에서 Qwen3.6-35B-A3B를 구동한 GitLab 코드 리뷰 에이전트 공유

요약

본 글은 sglang과 LangGraph.js를 활용하여 Qwen3.6-35B-A3B 모델을 4090 GPU 두 개에 구동한 GitLab 코드 리뷰 에이전트 구축 경험을 공유합니다. 이 시스템은 높은 처리량(초당 최대 985 토큰)과 안정성을 보여주며, 실제 코드 검토 과정에서 유용하게 활용되고 있습니다.

핵심 포인트

• sglang 기반의 LLM 구동 및 최적화된 성능 측정 결과를 공유함.
• LangGraph.js를 사용하여 복잡한 에이전트 워크플로우를 구현함.
• 다양한 모델 패밀리 사용을 통해 코드 리뷰 관점의 다양성을 확보할 수 있음.
• 모델 자체 루프(Loop) 현상 방지 등 안정화에 대한 고민과 해결책 제시.