Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
이 가이드는 VSCode에서 Code Llama 모델을 로컬로 사용하는 방법을 안내합니다. Continue 확장 프로그램과 `llamacpp_mock_api.py`를 활용하여, 별도의 API 키나 서비스 가입 없이 크로스 플랫폼 환경에서 Code Llama를 구동할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub Codex tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Llama.cpp를 모방하는 API로, Continue Visual Studio Code extension에서 Code Llama를 지원할 수 있게 합니다.
작성 시점과 제가 아는 한도 내에서는, 서비스에 가입하거나 API 키를 받을 필요 없이 VSCode에서 Code Llama를 로컬로 사용하는 유일한 방법입니다. 이 예외는 Continue와 Ollama가 있지만, Ollama는 Windows나 Linux를 지원하지 않습니다. 반면에 Code Llama for VSCode는 완전히 크로스 플랫폼이며 Meta의 자체 codellama 코드가 실행되는 모든 곳에서 작동할 것입니다.
이제 시작해 봅시다!
사전 준비 사항(Prerequisites):
두 가지를 독립적으로 사용할 수 있게 된 후, Code Llama for VSCode로 이들을 연결할 것입니다.
단계(Steps):
llamacpp_mock_api.py 파일을 codellama 폴더로 옮기고, 환경에 Flask를 설치합니다: pip install flask.llamacpp_mock_api.py를 실행합니다. 예를 들면:torchrun --nproc_per_node 1 llamacpp_mock_api.py \
--ckpt_dir CodeLlama-7b-Instruct/ \
--tokenizer_path CodeLlama-7b-Instruct/tokenizer.model \
...
config.json 파일을 수정하여 이것<sup>[ ext{archive}]</sup>처럼 보이도록 만듭니다. MODEL_NAME을 codellama-7b로 대체합니다.VSCode를 재시작하거나 Continue 확장 프로그램을 다시 로드하면 이제 Code Llama for VSCode를 사용할 수 있어야 합니다!