Devin(구 Windsurf)의 Adaptive 모델 라우터(Model Router)를 사용하다 보면, 동일한 프롬프트를 던졌음에도 어떤 때는 Kimi K2.7이, 어떤 때는 Claude Opus 4.6이 선택됩니다. 응답 카드에 표시되는 모델명을 볼 때마다, "선택 기준이 무엇인가"가 궁금해지기 시작했습니다.

참고로, Windsurf는 2026년 6월에 Devin Desktop으로 리네임되어 Devin 브랜드로 통합되었습니다. 본 기사의 관찰은 이행 후인 2026년 6월 시점의 것이지만, 제품 자체는 동일하며 여기서는 구칭인 Windsurf도 병기하고 있습니다.

Adaptive는 태스크(Task)의 복잡도를 판정하여 최적의 모델을 자동 선택한다고 공식적으로 설명되어 있습니다. 하지만 실제로 사용하다 보면 프롬프트의 복잡성만으로는 설명할 수 없는 동작을 몇 번이나 마주하게 되었습니다. 이 기사는 그 관찰 기록입니다.

먼저 결론부터 말씀드리자면, 명확한 답은 내지 못했습니다. 몇 가지 경향은 관찰할 수 있었으나, 시도 횟수가 적고 제어할 수 없는 변수도 많기 때문에 "Adaptive의 라우팅 기준은 이것이다"라고 단정할 수 있는 상태에는 이르지 못했습니다. 본 기사는 블랙박스를 아주 조금 열어본 관찰 기록으로서 읽어주시기 바랍니다.

왜 Adaptive의 동작을 관찰하려고 했는가

계기는 단순한 동기였습니다. 제가 Adaptive를 통해 고급 모델(Claude Sonnet 4.6이나 Opus 4.6)로 라우팅된다면, 수동 선택보다 저렴하게 고급 모델을 사용할 수 있습니다.

(Adaptive 단가로 고급 모델이 선택되면 조금 럭키! 무료 모델이나 프로모션 모델이 선택되면 조금 시무룩)

그렇다면 "고급 모델로 라우팅되기 쉬운 프롬프트 작성법"이 궁금해지는 것이 엔지니어의 본능이 아닐까요.

Devin의 Adaptive는 프롬프트를 분석하여 태스크의 복잡도를 판정하고, 적절한 모델을 동적으로 선택합니다. 공식적으로는 "Simple tasks get routed to fast, efficient models. Complex tasks get routed to more capable ones."라고 설명되어 있습니다. 저는 이 메커니즘이 실제로 어떻게 작동하는지 실험을 통해 확인해 보기로 했습니다.

동일한 프롬프트라도 매번 다른 모델이 선택된다

동일한 아키텍처 리뷰 프롬프트를 새로운 채팅에서 3번 던졌습니다.

3회 모두 서로 다른 모델이 선택되었습니다. 프롬프트는 동일하지만, 모델 가용성(Availability), 서버 부하, 쿼터(Quota) 상태 등 우리가 제어할 수 없는 요인으로 인해 라우팅이 바뀌었을 가능성이 있습니다.

Opus 4.6이 선택된 회차에서는 캐시된 입력(cached input)이 약 37만 토큰에 달했으며, 모델 선택과 컨텍스트 크기(Context Size) 사이에 어떠한 상관관계가 있을지도 모릅니다. 다만 인과관계는 불분명합니다.

정지 타이밍에 따라 모델이 변하는 현상

다른 실험에서는 동일한 프롬프트를 새로운 채팅으로 던지고, 정지 타이밍을 바꾸어 보았습니다.

즉시 멈추면 가장 경량인 SWE-1.5 Fast, 조금 기다리면 중간 단계인 Kimi K2.7, 끝까지 실행하면 Sonnet 4.6이라는 결과가 나왔습니다. 이는 태스크의 진행 상황이나 토큰 양에 따라 모델이 동적으로 전환(Escalation)될 가능성을 시사합니다.

만약 이 가설이 맞다면, "적은 토큰 양의 단계에서 고급 모델을 끌어내어 그대로 계속 사용하는" 전략에 대한 구조적인 카운터로서 기능하고 있을 가능성이 있습니다. 즉, 경량 프롬프트만으로 고급 모델을 고정하여 저렴하게 계속 사용하는 전략은 시스템 설계상 억제되어 있을 가능성이 있습니다.

다만, 이 관찰은 각 조건당 1회씩의 시도였으며 재현성 확인은 이루어지지 않았습니다.

동일 대화에서는 모델이 강하게 고정된다

Opus 4.6이 선택된 새로운 채팅에서, 문맥이 전혀 다른 태스크를 계속해서 던졌습니다.

여기서 주의해야 할 점은 비용입니다. 턴 3의 극소형 질문에서도 input tokens가 53,986에 달했습니다. 동일 대화의 문맥(아키텍처 리뷰, README 영문 번역)이 이어지고 있기 때문에, 질문 자체는 작더라도 문맥 전체를 Opus 4.6이 처리하게 하는 비용이 발생합니다.

즉, 비용 구조는 대화 레벨에서 고정됩니다. 고급 모델로 배정된 대화에서는 후속 소형 태스크도 고급 모델로 처리되며, 무료 모델로 배정된 대화에서는 후속 작업도 무료로 처리될 가능성이 높습니다.

알고 있는 것과 알지 못하는 것

제가 이 글에서 작성한 것은 2026년 7월 시점에서의 개인적인 관찰 기록입니다. 다음 사항들을 솔직하게 정리해두고 싶습니다.

확실히 말할 수 있는 것

• 동일 대화 내에서는 모델이 지속됩니다. 문맥이나 태스크 난이도가 바뀌어도 처음에 선택된 모델이 계속해서 사용되었습니다.
• 신규 채팅에서는 동일한 프롬프트라도 서로 다른 모델로 배정될 수 있습니다.
• 중단 타이밍에 따라 모델이 변화할 가능성이 있습니다.
• 비용은 대화 레벨에서 고정됩니다. 고급 모델 대화에서의 작은 태스크도 문맥 전체를 처리하는 비용이 발생합니다.

알지 못하는 것

• 시행 횟수가 적습니다. 신규 채팅 3회, 중단 타이밍 3가지 조건은 통계적으로 유의미한 결론을 내릴 수 있는 규모가 아닙니다.
• Devin 측의 업데이트로 라우팅 (Routing) 로직이 변경될 가능성이 있습니다. 본 기사의 관찰은 2026년 7월 시점의 것이며, 향후에도 계속 통용될 것이라는 보장은 없습니다.
• 단계적 에스컬레이션 (Escalation)이 실제로 일어나고 있는 것인지, 아니면 단순한 타이밍에 따른 재평가인지 구분할 수 없습니다.
• 서버 부하나 모델 가용성 등, 사용자 측에서 관측할 수 없는 요인이 라우팅에 영향을 미치고 있을 가능성이 있습니다.

실용적인 태도

Adaptive의 라우팅을 과도하게 조작하려 하기보다, 비용에 주의하며 자연스럽게 사용하는 것이 현실적이라고 생각합니다. 고급 모델이 필요한 태스크를 투입한 결과로 고급 모델이 선택된 대화라면, 그 이후의 작업도 활용하면 됩니다.

반면, 고급 모델 대화에서 잡담이나 소형 태스크를 계속 이어가면 (Adaptive의 단가가 아무리 저렴하더라도) 문맥 전체를 고급 모델로 처리하게 하는 비용이 쌓이게 됩니다. 이 점은 의식해 두는 것이 좋습니다.

"무엇이 선택 기준인가"라는 질문에 대한 완전한 답은 내지 못했습니다. 다만, 프롬프트의 복잡성만으로는 설명할 수 없는 거동을 몇 가지 관찰할 수 있었습니다. Adaptive의 블랙박스 (Black box)를 아주 조금 열어본 기록으로서, 누군가에게 참고가 되기를 바랍니다.

Discussion