본문으로 건너뛰기

© 2026 Molayo

Qiita헤드라인2026. 06. 10. 06:00

Claude Code에서 고정했다고 생각한 모델이 임의로 변경되는 문제: 자신의 로그를 통해 실제로 어떤 것이 작동했는지 확인하는 방법

요약

사용자가 Claude Code에서 실제로 어떤 모델이 작동했는지 '모델 투명성' 문제를 해결하는 방법을 안내합니다. 단순히 UI를 보는 것이 아니라, 로컬 기계 로그 파일(JSONL)을 분석하여 과거 세션의 모델 사용 기록과 턴 수를 집계할 수 있습니다.

핵심 포인트

  • 로컬 기계 로그 파일을 통해 실제 작동 모델 확인 가능
  • 모델별 턴 수 및 최근 N일 기간 집계를 활용해 추세 파악
  • 명령어와 Python 스크립트를 제공하여 분석 용이성 높임

“Opus에 고정했는데도 응답 품질이 불안정한 것 같다”
“상위 플랜인데 특정 시간대부터 갑자기 성능이 떨어진 느낌이다”
“통계 화면의 ‘자주 사용하는 모델’이 체감과 너무 다르다.”

2026년 6월에 들어서면서 이러한 종류의 목소리가 다시 늘어나고 있습니다. 고정된 모델이 대화 도중에 다른 모델로 바뀌거나, 새로운 세션을 열었더니 지정 사항이 무시되는 등, 실제로 어떤 모델이 작동하고 있는지 알 수 없는—이른바 ‘모델 투명성’ 문제입니다. Anthropic 자체도 5월 공식 사후 분석(postmortem)에서 일정 기간 동안의 품질 저하가 세 가지 제품 변경에 기인했음을 인정했습니다. 즉, 이는 단순히 착각으로 치부할 수 없는 실재하는 문제입니다.

하지만 여기서 많은 사람이 멈칫합니다. ‘아마 바뀐 것 같다’는 체감만으로는 보고도 할 수 없고 대책을 마련할 수도 없습니다.

결론부터 말하자면, 추측할 필요가 없습니다. 어떤 모델이 어느 턴(turn)을 실제로 처리했는지는 사용자 본인의 기계 로그에 그대로 기록되어 있습니다.

/status

또는 /model

로 ‘현재’ 모델은 확인할 수 있습니다. 하지만 이것들이 알려주는 것은 설정의 현재 값일 뿐, 과거 세션에서 실제로 무엇이 응답했는지는 아닙니다. 대화 도중에 조용히 바뀌거나, 상위 용량을 다 사용한 후 하위 모델로 폴백(fallback)한 사실은 화면 표시에는 남아있지 않습니다. 그래서 ‘어젯밤의 그 느림함은 뭐였을까’를 UI에서 나중에 되짚어볼 수는 없는 것입니다.

Claude Code는 세션을 한 줄씩 JSON 형태로 다음 위치에 기록하고 있습니다.

~/.claude/projects/<프로젝트>/<세션ID>.jsonl

이 중 `

위의 시계열 데이터에 더해, '모델별 제공 턴 수'를 집계하면 보고서에 유용한 숫자가 됩니다. 게다가 '전 기간 집계'는 현재 제공되는 것과 정반대의 결과를 보일 수 있습니다. 오래된 통계의 『자주 사용하는 모델』이 체감과 맞지 않는 것도 이 때문입니다. 최근 7일만으로 창을 재집계하면, 추세 변화를 한눈에 파악할 수 있습니다.

이러한 명령어(모델별 턴 수 집계, 최근 N일 창에서의 집계)와 모델 ID 읽기 요약표를 복사하여 사용하기 쉬운 형태로 1페이지에 정리해 두었습니다. jq

이 없는 환경을 위한 python3 버전도 준비했습니다. 브라우저 내에서만 완결되며, 외부로 아무것도 전송하지 않습니다.


자가 진단 도구: Claude Code가 실제로 어떤 모델로 작동했는지 스스로 확인하는 방법

'뭔가 품질이 떨어진 것 같다'는 느낌을 '이 시점부터 이 턴까지, 고정했던 Opus가 아니라 Sonnet이 응답했다'라는 구체적인 사실로 바꾸는 것만으로도 보이는 풍경이 달라집니다. 먼저 자신의 로그를 읽어보세요. 이것이 모델의 투명성 문제에 대해 이용자 측에서 할 수 있는 가장 확실한 조치입니다.

참고로, 이러한 '조용히 일어나서 알아차리기 어려운 사고'를 실행 직전에 멈추거나 나중에 검증하기 위한 무료(MIT) 안전 후크와 로컬 점검을 cc-safe-setup(npx cc-safe-setup)으로 배포했습니다. 관심 있으시면 한번 확인해 보세요.

*본 기사는 자신의 세션 로그에 대한 로컬 검증 방법을 설명합니다. 계정이나 법률 자문이 아니며, Anthropic의 라우팅 의도에 대한 주장도 아닙니다. 모델이나 사용 정책(Usage Policy)에 대한 의문은 Anthropic 자체 문서와 지원을 통해 확인해 주십시오.

AI 자동 생성 콘텐츠

본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0