DSv4F는 jinja 템플릿을 제공하지 않지만, 이를 제공하며 DS가 채팅 템플릿 python에서 출시한 내용을 충실히 재구성하는 배포판들의 경우, 모든 시스템 메시지는 최상단의 시스템 프롬프트(system prompt)로 끌어올려집니다. 즉, 이 형식에는 대화 중간의 시스템 턴(system turn)이 존재하지 않습니다. 따라서 대화의 끝이나 중간에 무엇인가를 붙이면 실제로 프롬프트 접두사(prefix)를 망가뜨리게 됩니다 (또한 주입 지점과 대화적 근접성(conversational proximity)도 갖지 못합니다). 대부분의 템플릿이 시스템을 사용하는 방식과 대부분의 양자화(quant) 제공자들이 전달하는 방식(DS의 python 템플릿과 일치할 경우)에 맞춰 DS가 학습시킨 역할인 latest_reminder를 사용하세요. 저는 llama.cpp를 사용 중이며, 아무 문제 없이 잘 전달됩니다. 다른 엔진들이 어떻게 작동하는지는 모르겠습니다. 왜 제 프롬프트 캐싱(prompt caching) 성능이 그렇게 형편없었는지 이유를 찾을 수 없었는데, 바로 이것 때문이었습니다. 그래서 다른 분들의 시간과 좌절(그리고 호스팅 버전을 사용 중이라면 아마도 비용)을 아껴드리고자 이 정보를 공유합니다. submitted by /u/CharlesStross [link] [comments]