b11758: 동적 ngram 캐시 파일 저장 기능 구현 (#22055)

요약

본 기술 기사는 ngram 캐시 파일 저장 기능 구현 및 관련 버그 수정을 다룹니다. 특히, 동적 ngram 캐시를 종료 시점에 안전하게 저장하는 방법을 정의하고, 이전 토큰 정보 누락으로 인해 발생하는 컨텍스트 캐시 업데이트 문제를 해결했습니다.

핵심 포인트

• 동적 ngram 캐시 파일을 안정적으로 저장하는 기능을 구현함.
• 캐시 파일이 존재하지 않거나 읽을 수 없는 경우의 처리 로직을 개선함.
• ngram 캐시 업데이트 시 전체 히스토리를 전달하여 정확도를 높임.