Claude Haiku 4.5에서 Haiku 5.5로 마이그레이션 시 응답 처리 문제

앱이 Claude Haiku 4.5를 호출하고 이를 Haiku 5.5로 옮기는 경우, API 호출 자체는 성공하더라도 두 가지 문서화된 동작으로 인해 응답 처리에 문제가 발생할 수 있습니다. 이 두 가지 모두 Anthropic의 Haiku 5.5 마이그레이션 가이드에 나와 있으며, 해당 가이드에는 먼저 적용해야 할 요청 변경 사항도 나열되어 있습니다.

첫 번째는 기본 사고 블록(default thinking block)입니다. Adaptive thinking은 5.5에서 기본적으로 활성화되므로, 요청에서 사고를 요구하지 않더라도 응답이 사고 블록으로 시작할 수 있습니다. 기본적으로 이 블록의 'thinking' 필드는 비어 있습니다. content[0]을 답변으로 처리하는 코드는 이제 해당 블록을 읽게 됩니다. 작성 방식에 따라 오류를 발생시키거나, 빈 문자열을 답변으로 저장하게 됩니다.

두 번째는 텍스트가 나오기 전에 max_tokens 제한에 도달하는 경우입니다. 사고(Thinking)도 max_tokens 계산에 포함됩니다. 만약 호출 지점의 제한이 4.5용으로 타이트하게 설정되었다면, 응답은 사고 블록 직후에 stop_reason이 "max_tokens"인 상태로 중단될 수 있습니다.

이 두 가지 모두 API 오류로 표시되지 않으며, 빈 답변이라도 앱에서 아무런 경고를 발생시키지 않을 수 있습니다. 따라서 프로덕션 모델 ID를 변경하기 전에 이 두 가지를 모두 확인하십시오:

1. 텍스트 답변을 예상하는 각 호출 지점에 대해 최근 기록된 요청 몇 개를 가져옵니다. 제한에 가장 가까운 출력을 생성한 요청도 포함해야 합니다.
2. 해당 요청들을 스테이징 환경에서 claude-haiku-5-5로 보내고, 가이드의 요청 변경 사항을 적용합니다.
3. 각 응답에 대해 stop_reason, 순서대로 블록 유형, 그리고 파서가 반환한 내용을 기록합니다. 그런 다음 파싱된 결과를 사용하는 단계(step)로 전달하고 수락되었는지 여부를 기록합니다.
4. 만약 파서가 잘못된 블록을 가져갔다면, 이를 유형별 텍스트 블록을 선택하도록 변경합니다. 응답이 텍스트 없이 max_tokens에 도달했다면, 해당 호출 지점의 max_tokens를 늘리거나 노력(effort) 설정을 낮춘 다음 다시 실행합니다.

모든 재현된 요청이 통과하면, 파서(parser)는 테스트한 호출 사이트와 입력에 대해 5.5 응답을 처리합니다. 실제 트래픽에는 샘플에 포함되지 않은 입력이 포함될 수 있으므로, 전환 후에도 파싱 실패(parse failures) 및 max_tokens 중단을 계속 주시해야 합니다. 답변 자체가 실제 트래픽에서 좋은지는 별도의 테스트이며, 파서 실패 문제가 해결되면 더 쉽게 읽을 수 있습니다.