그래서 저는 제 프로젝트 몇 가지에 Laguna를 실제로 테스트해 볼 시간을 가졌습니다. 현재 대부분의 사람들의 의견이 단순히 실행하는 방법이나, 사용하기 전에 작동하지 않는다고 말하며 포기하는 것에 대한 내용뿐인 것 같아, 의견을 형성하기 전에 제가 직접 정직하게 기회를 주고 어디에 도움이 될지 혹은 무엇이 부족한지 알아보기 위해 정말로 직접 사용해 보고 싶었습니다.

먼저 배경을 조금 설명하자면, 저는 단일 V100 32GB에서 Unsloth Q3 quant 262k 컨텍스트를 실행하고 있으며, 레이어는 CPU로 오프로딩(offloaded)되어 VM에 약 50GB의 DDR4 RAM이 할당된 상태입니다. 저는 약 10tps의 디코드(decode) 속도와 200tps의 프리필(prefill) 속도를 기록했습니다. 분명 최적의 테스트 환경은 아니지만, 저는 이것이 상당히 사용 가능하며 이 설정에서 안정적이라는 것을 발견했습니다. 에이전트적 작업(agentic work)의 경우, 캐싱(caching)이 점진적으로 채워지게 하여 200k가 넘어도 속도를 일정하게 유지해주기 때문에 프리필(prefill)이 크게 중요하지 않았습니다.

이 모델과 다른 모델들을 탐색하는 저의 주된 목표는, 제 대규모 프로젝트를 분석하고 계획을 세운 뒤, 이를 단계별로 나누어 로컬 Qwen 워커(workers)들에게 전달할 수 있는 더 큰 플래닝 모델(planning model)을 로컬에서 실행할 수 있는 방법을 찾는 것이었습니다. DeepSeek는 비용 때문뿐만 아니라, 대량 작업에 대한 핵심적인(bare bones) 접근 방식이 다른 모델들보다 훨씬 더 효과적이기 때문에 한동안 저의 골드 표준(gold standard)이었습니다. 하지만 저는 그것을 로컬에서 실행할 수 없습니다. 심지어 저는 Claude가 다른 것들과 잘 어울리지 못하고 독단적으로 행동하며, 시스템을 세분화하는 대신 전체 시스템을 대충 구현하려는 경향이 있기 때문에, 많은 작업에서 Claude보다 성능이 더 뛰어나다고 느끼기도 합니다. Qwen 3.6 27b는 실제로 꽤 훌륭하지만, 대규모 프로젝트에서는 어려움을 겪는 경향이 있고, 더 높은 양자화(quants)를 사용하더라도 제 프로젝트에 정말 필요한 긴 컨텍스트(long context)가 부족하다는 것을 발견했습니다.

처음부터 말씀드리자면, Laguna는 제가 기대했던 플래너(planner)는 아닙니다. 그 추론(reasoning) 스타일이 이 작업을 효과적으로 수행하기에는 너무 지나치게 심층적입니다. 하지만 초기 테스트 중에 작업에 대해 터무니없을 정도로 추론하는 또 다른 모델인 GLM 5.2가 떠올랐습니다.

이 점은 이 모델이 어디에서 도움이 될 수 있을지에 대해 진지하게 생각하게 만들었습니다. 그리고 저는 이 모델이 정말 빛을 발하는 지점을 찾은 것 같습니다. 바로 복잡한 디버깅 (debugging)입니다. 이 모델이 가진 강렬한 추론 (reasoning) 스타일은, 그동안 저에게 엄청난 고통이었던 프로젝트 내 버그들의 '모든' 근본 원인을 실제로 찾아내는 데 매우 적합하다는 것을 발견했습니다. Qwen, DeepSeek, 그리고 Claude 모델들조차 저에게는 디버깅에서 어려움을 겪었는데, 그들은 종종 문제의 첫 번째 원인을 찾아내어 수정하고 나면 작업이 끝났다고 판단해 버리기 때문입니다. 이는 복잡한 버그의 경우 몇 시간 동안 똑같은 과정을 반복하게 만들 수 있습니다. GLM은 제가 시도했던 모델 중 실제로 이 작업에 효과적이었던 첫 번째 모델 중 하나였습니다. 상황을 분석하고 무엇을 할지 생각하는 데 200k 토큰을 소비할 수도 있지만, 단순히 눈에 보이는 첫 번째 표면적인 답변 대신 실제로 완전한 답변을 내놓았고, 이는 저를 정말 놀라게 했습니다. 저는 Laguna 또한 유사한 스타일을 가지고 있다는 것을 발견했습니다. 느리고, 과하게 생각하지만, 답변을 내놓기 전에 문제 전체를 고려합니다. Claude나 Qwen 모델로 며칠 동안 디버깅해도 진전이 없어, 결국 제가 처음부터 직접 고쳐야겠다는 생각에 체념했던 특정 구현 사항과 버그들이 있었습니다. 하지만 테스트 삼아 Laguna를 던져보기로 했습니다. Laguna는 Qwen이 고려조차 하지 못했던 문제와 Claude가 계속 제자리걸음만 했던 문제 2가지를 성공적으로 해결했습니다. 전반적으로, 이 모델이 차세대 Qwen이나 Gemma 킬러라고 생각하지는 않습니다. 일반적인 작업(generalist work)을 위해 Gemma 4나 Qwen을 대체하지는 못할 것입니다. 분명히 특화된 모델이지만, 제 스택 내에서 작은 모델들이 해결하지 못하는 복잡한 버그를 해결하고 그 솔루션을 설명해 주는 '1차 교사 모델 (first line teacher model)'로서의 역할을 찾았습니다. 드디어 Qwen이 작업을 실패했을 때 무엇을 해야 하는지에 대한 질문에 답해줄 로컬 모델을 갖게 되었으며, 현재 테스트 결과로 볼 때 Laguna는 이를 잘 수행해 주었고 덕분에 저는 더 많이 자고 걱정을 덜 할 수 있게 되었습니다. submitted by /u/Prudent-Objective852 [link] [comments]