Laguna-S-2.1이 몇 시간 전에 출시되었습니다. 저는 신뢰할 수 있는 qwen3.6 dense 및 현재 데일리로 사용하는 122B 모델을 업그레이드할 적절한 모델을 찾고 있었기에, 제 로컬 에이전트 스택(agent stack)을 구동할 모델을 선정할 때 사용하는 것과 동일한 평가 하네스(eval harness)를 통해 이 모델을 테스트해 보았습니다. 결과가 일반적인 "벤치마크 최고점 혹은 왕"이라는 이분법적 분류에 맞지 않고, 특정 방식에서 진정으로 인상적이면서도 결함이 동시에 존재하기 때문에 게시합니다.

설정: 단일 RTX Pro 6000 Blackwell 96GB, vLLM 0.25.1 (기본 버전에서 Laguna 지원이 네이티브로 포함되어 패치 불필요), 공식 NVFP4, fp8 KV를 사용한 262144 컨텍스트(ctx) 길이 (util 0.90, 가중치 약 67G로 여유 있게 수용 가능), poolside_v1 파서(parsers), 벤더 샘플링 (temp 1.0 / top_p 1.0 / top_k 20), 사고 과정(thinking) 활성화 (기본값). 첫 시도에 바로 부팅되었습니다.

평가 방식: 모델당 160개 작업 x k=3, 모든 항목은 결정론적 스크립트(deterministic scripts)에 의해 채점되었습니다 (LLM 판사 사용 안 함). 카테고리: 도구 호출(tool-call) 인자 선택, 다단계 도구 체인(multi-step tool chains), 엄격한 JSON 스키마 출력, 허구 함정(fabrication traps, 도구가 아무것도 반환하지 않도록 모킹했을 때 모델이 이를 인정하는지 아니면 지어내는지), 스포츠 지식 + 배당률 산술, 지시 이행(instruction following), 출력 안정성(garble/loops), 거부(refusals), 그리고 제 에이전트 함대(agent fleet)의 실제 사례를 바탕으로 구축된 압박 상황에서의 근거 확인(grounding-under-pressure) 조사(사용자가 진정한 "아니오"에 대해 반박하거나, 모델이 이름을 지어내고 싶어 하는 불투명한 ID를 제시하거나, 존재하지 않는 도구 인자를 유도하는 프롬프트 등).

모든 허구(fabrication) 플래그는 집계 전 수동으로 검증됩니다. 원시 플래그의 약 절반은 채점기의 오탐(false positives, 유도된 산술이나 이름 확장 등)이며, 모든 모델에 대해 동일하게 화이트리스트로 처리됩니다. 주의 사항: 이 하네스는 qwen 모델을 중심으로 발전해 왔으므로, 편향을 발견하면 수정하지만 qwen이 아닌 모델의 점수는 하한선(lower bounds)으로 간주합니다.

Laguna가 제가 측정한 로컬 모델 중 진정으로 가장 뛰어난 부분:

• 도구 호출 인자 (tool-call args): 0.89 통과, 제가 테스트한 5개 모델 중 최고 (Qwen 122B: 0.86)
• 스모크 테스트 (smoke test)에서 6단계 깊이의 도구 체인 (tool chains) 수행, 로컬 모델 중 제가 본 것 중 가장 깊음
• Qwen은 256k 컨텍스트 (ctx)에서 단일 스트림으로 109 tok/s를 기록하지만, 이 그래픽 카드에서 가장 빠른 100B+ 모델임 (Qwen3.5-122B: 103, Nemotron 3 Super: 94.5)
• 모든 프로브 (probe)에서 JSON/스트리밍/엔벨로프 (envelope) 오류 제로
• 도구 검증 오류 발생 시 첫 번째 재시도에서 복구 가능

Qwen 122B에 뒤처지는 부분:

• 스포츠 지식 + 배당률 수학: 0.80 vs Qwen의 1.00. 지식의 경계는 실재합니다. Poolside의 자체 블로그에 따르면, 이 모델은 33B 모델의 사전 학습 코퍼스 (pretraining corpus)를 재사용하며, 118B 모델은 광범위한 지식 기반이 아닌 코딩 특화 모델입니다.
• 압박 상황에서의 근거 제시 (grounding): 0.80 vs 0.97, 그리고 이것이 저에게는 실격 사유입니다: 직접 확인한 3건의 명백한 허위 사실 생성 (hard fabrications). 데이터가 전혀 없는 시장에 대해 손익(P&L) 수치를 지어냈고, 데이터에 없는 말(horse)의 이름을 언급하며 상태 업데이트 초안을 두 번 작성했습니다. 한 번은 실제 1980년 더비 우승마인 "Genuine Risk"를 사전 학습 데이터에서 그대로 가져와 언급하며 포지션 규모를 1000배 부풀리기도 했습니다. 약 240회의 근거 제시 (grounding) 실행 결과, Qwen 122B는 허위 사실 생성이 단 한 건도 없었으며, 모르는 것에 대해 단순히 "모릅니다"라고 답했습니다.

실행 시 주의사항 (Gotchas):

• max_tokens를 8k 이상으로 설정하십시오. 이 모델은 길게 생각하는 경향이 있으며 (벤더는 32k까지 허용), 2048로 설정하면 생각하는 데 예산을 모두 소진하고 빈 값을 반환합니다. 이 때문에 제 첫 번째 테스트에서는 스키마 (schema) 작업 점수가 0.40이었으나, 8k 설정 시 실제 점수는 0.79였습니다.
• dflash 투기적 디코딩 (speculative decoding): 실제 효과가 있으나 상황에 따라 다릅니다. 코드 프롬프트에서는 109 -> 271 tok/s로 상승하지만, 산문 (prose)에서는 거의 움직이지 않으며 (~117), 4개의 동시 스트림 미만에서는 오히려 손해입니다 (합계 268 -> 198로 감소, 거부된 초안이 배치 (batch)를 소모함). 단일 사용자 코딩에는 적합하지만, 동시 서빙 (concurrent serving) 시에는 꺼두십시오. 또한, temperature 0에서 투기적 디코딩을 켰을 때 비트 단위 안정성 (bitwise-stable)이 보장되지 않으므로, 출력이 중요한 경우에는 꺼두겠습니다. 비전 (vision) 기능도 없습니다. 따라서 저에게 이 모델은 애초에 데일리 드라이버 (daily-driver) 후보는 아니었습니다.

결론 (Verdict): Poolside는 자신들이 만들었다고 말한 그대로, 에이전트형 코딩 전문가 (agentic coding specialist)를 만들어냈습니다.

도구 메커니즘 (tool mechanics)은 제가 테스트해 본 그 어떤 로컬 모델보다 한 단계 진보해 있으며, 속도 또한 매우 뛰어납니다. 하지만 그들의 강화학습 (RL)에서 말하는 "에이전트형 (agentic)"은 지속성 (persistence)을 의미하는 것으로 보이는데, 근거를 다지는 규율 (grounding discipline)이 없는 지속성은 데이터가 고갈되었을 때 자신 있게 허구(invention)를 만들어내는 것을 의미합니다. 인간의 검토 루프 (human review loop) 뒤에서 작동하는 코딩 용도로는 아마 훌륭할 것입니다. 하지만 실제적인 무엇인가를 다루는 자율 에이전트 (autonomous agents)의 경우, 저는 qwen3.5-122b를 계속 사용하겠습니다. 약간 더 느리고 도구 사용 (tool use)이 덜 화려할지는 몰라도, 속임수를 쓰기 위해 시도한 약 240번의 시도 동안 단 한 번도 사실이 아닌 것을 지어내지 않았습니다. 저에게는 바로 그 속성이 실제로 중요한 속성입니다. submitted by /u/klinec [link] [comments]