코딩 작업에는 상당히 쓸모없습니다. 생각하는 과정(thinking process)을 잘라냅니다. 결과로 응답하지 않습니다.
명령줄 (PrismML HF 페이지에서, llama fork 기반으로 빌드된 llama.cpp 사용):
./llama-cli -m Ternary-Bonsai-27B-Q2_0.gguf -n 256 --temp 0.7 --top-p 0.95 --top-k 20 -ngl 99
"이야기 하나 해줘"
https://preview.redd.it/97gckbgnxbdh1.png?width=2214&format=png&auto=webp&s=812f08827b7351b62cceced444084b2a29d8d561
간단한 C# 함수 작성:
https://preview.redd.it/trpo6lrrxbdh1.png?width=1127&format=png&auto=webp&s=21f190f5505dc14a87ba600e135e6c3e96e88da3
모델이 지원하는 최대치로 컨텍스트 크기(context size)도 높였는데, 변화는 없습니다.
제출자 /u/AdamLangePL
[링크] [댓글]