8GB GPU에서 모델을 수동으로 교체하는 번거로움을 해결하기 위해, 작은 Prompter와 큰 Coder를 자동 VRAM 스왑 파이프라인으로

다양한 LLM(Large Language Models)을 테스트하던 중, 한 줄짜리 문장을 입력하는 것보다 정밀하고 상세한 프롬프트(Prompt)를 제공할 때 훨씬 더 나은 결과가 나온다는 것을 발견했습니다. 이러한 상세한 프롬프트를 얻기 위해 저는 먼저 더 작고 빠른 모델을 사용하곤 했습니다. 하지만 VRAM이 8GB뿐이라 두 개의 모델을 동시에 로드할 수 없었고, 이 때문에 모델 사이를 계속 전환해야 하는 것이 큰 고통이었습니다.

그래서 이 모든 과정을 자동화하기 위해 Prompt-Chain을 만들었습니다.
이것은 두 개의 모델을 하나의 파이프라인으로 연결하는 Streamlit 앱입니다:

1. 대략적인 아이디어를 입력합니다 (예: "React로 스네이크 게임 만들기")
2. 작고 빠른 Prompter (예: Phi-4 Mini)가 이를 상세한 프롬프트로 다시 작성합니다.
3. 정제된 프롬프트를 검토하고 선택적으로 수정합니다.
4. VRAM이 자동으로 스왑됩니다 — Prompter는 언로드(Unload)되고, Coder가 로드됩니다.
5. 더 크고 코드에 특화된 모델 (예: Qwen 2.5 Coder 14B)이 코드를 생성합니다.
6. 결과가 화면에 스트리밍되고 파일로 저장됩니다.

주요 장점은 모델을 수동으로 언로드/로드하며 시간을 낭비하는 것을 방지하고, 잘못 작성된 프롬프트로 인해 큰 모델에 토큰(또는 클라우드 API를 사용하는 경우 비용)을 낭비하는 일을 막아준다는 점입니다.

기타 기능:

• 역할별 백엔드 혼합: Prompter와 Coder를 위해 LM Studio, Ollama, OpenAI, Claude, Gemini를 각각 독립적으로 선택 가능
• 서버로부터 모델 자동 감지
• 25개의 내장 프리셋 (Web Dev, Games, Data, CLI 등)
• 제자리 정제 (Refine-in-place): 후속 지침을 통해 처음부터 다시 생성하지 않고 코드를 수정
• 재시작 시에도 유지되는 실행 기록
• 자동 언어 감지 및 타임스탬프 저장이 포함된 스마트 파일 출력

GitHub: https://github.com/atharva557/Prompt-Chaining

특히 비슷한 환경을 운영 중인 분들의 피드백을 기다립니다!