기본 설정에서 thinking이 활성화되고 max_tokens가 1024 이상이며, 명시적인 reasoning_budget_tokens가 없는 경우, Strata / PolyStrata는 'answer_room'이라는 동작 방식을 가집니다. 이 기능은 내부적으로 thinking을 0.75 * max_tokens에서 조용히 제한하고, 모델의 머리 부분에 스스로의 목소리로 "I have thought about this long enough; time to give my answer. + </think>"라는 '마무리(wrap-up)' 라인을 주입합니다. 이후 그 지점부터 동일한 답변을 계속 이어 나갑니다.
클라이언트(harness, 사용자 또는 나)는 이와 관련하여 오류(error), 플래그(flag), 또는 종료 이유를 받지 못하며, 종종 로그도 남기지 않습니다. 이는 strata와 다른 엔진들을 비교할 때 중요합니다. Strata에 의해 서비스되는 모델들은 내부 목소리 형태의 '넛지(nudge)'와 같은 추가 텍스트가 기록물(transcript)에 포함되어 있었습니다. 경우에 따라 이 넛지 라인은 thinking 중간에, 상당히 갑작스럽게 주입되므로 이것이 도움이 되는지 해로운지 판단하기 어렵습니다.
Strata 메인 @ c62d5e3
Wrap-up 메시지: https://github.com/Niko1221/Strata/blob/c62d5e3a15b40ea51c96aae9e8d36928965f53ab/serve/server.py#L225
트리거 (3/4 예산): https://github.com/Niko1221/Strata/blob/c62d5e3a15b40ea51c96aae9e8d36928965f53ab/serve/server.py#L549
주입 지점: https://github.com/Niko1221/Strata/blob/c62d5e3a15b40ea51c96aae9e8d36928965f53ab/serve/server.py#L584
기본 활성화(answer_room = True): https://github.com/Niko1221/Strata/blob/c62d5e3a15b40ea51c96aae9e8d36928965f53ab/serve/server.py#L418
dgx spark에서 긴 초기(front-loaded) thinking을 하는 모델이 polystrata에서 서비스될 때 약간하지만 균일하게 짧은 답변을 제공하는 것(그리고 제가 어려운 문제에 대한 작업 성능이 저하되는 현상)을 발견했습니다. PS, 저는 sonnet에게 모든 절단 및 주입 사례를 감사하도록 했고, 그 결과는 다음과 같습니다 (sonnet은 이를 "splice"라고 불렀습니다):
위치: 자연스러운 끊김 지점(At a natural break): 6 (9%). 반복 루프 내부(예: HashMap.new()?가 30K–118K 문자 동안 반복되는 경우): 15 (22%).
침투성(Intrusive): 48건 (70%, 또는 루프가 아닌 경우의 89%): 문장 중간: 28건, 숫자/표현식 중간("Mod 9982 |cut|""): 13건, 코드 내부 (def solve(): 직후 한 번 잘림): 4건, 단어 중간: 3건. 피해(Harm): 작동하지 않은 것: 스플라이스(splice) 이후에 추론을 다시 열어 답변한 적이 없었으며, 스플라이스 이후의 모든 79개 도구 호출(tool call)은 정상적으로 완료되었다. 손실된 추론(Lost reasoning): 작업의 첫 번째 답변에 포함된 30개의 스플라이스 중 26개는 일반적인 초기화(fresh start) (ls /app)로 이어졌다. 61K 토큰 분량의 사고 과정은 다음에 오는 내용에 흔적을 남기지 못했다. 명확한 피해(Clear harm)가 발생한 사례는 6건이다: 답변이 아무런 조치 없이 끝났고, 모든 6개 작업이 실패했다. Qwen3.6, 작업 3674: "Where right_prefix_max |cut|"에서 잘렸으며, 그 이후의 유일한 출력은 "Integrity notice: yes"였다. Flash-Next IQ2_XS, arc190_c: 동일한 패턴이다. 결론 누락(A dropped conclusion): Qwen3.6의 arc192_b는 "I think the answer is:" 직후에 잘렸고, 모델은 이후 추측했다. 루프(Loops): 스플라이스가 이를 깨뜨리기는 했지만, 해당 작업들은 여전히 실패했다.
제출자: /u/Regular-Register-358 [링크] [댓글]