OpenAI는 2026년 11월 30일에 v1/prompts 엔드포인트를 종료할 예정이며, 마이그레이션 가이드에서는 프롬프트 콘텐츠를 다시 애플리케이션 코드(application code)로 옮기고 git으로 버전 관리할 것을 권장하고 있습니다. 한편, 이 카테고리의 나머지 영역은 그 어느 때보다 빠르게 변화했습니다. Langfuse는 ClickHouse에 인수되었고, Braintrust는 8,000만 달러 규모의 Series B 투자를 유치했으며, Humanloop은 완전히 폐업했습니다. Helicone은 Mintlify 내부에 동결되었고, Promptfoo는 OpenAI로 넘어갔으며, Vellum은 소비자용 어시스턴트로 피벗(pivot)했습니다. Google에서 여전히 상위 순위를 차지하고 있는 많은 도구 목록들은 이제 실제로 채택할 수조차 없는 제품들을 추천하고 있습니다.

저는 DevToolLab에 이 내용의 훨씬 더 긴 버전을 작성했으며, 모든 코드 샘플은 게시 전 로컬에서 실행되었습니다: 2026년 LLM 앱을 위한 최고의 프롬프트 관리 도구. 이 글은 요약된 현장 가이드입니다.

프롬프트 관리가 제공하는 가치

프롬프트 관리 플랫폼은 프롬프트를 코드 외부(outside your code)에 저장하고, 모든 수정 사항에 커밋 메시지가 포함된 불변의 버전(immutable version)을 부여하며, 앱이 재배포(redeploying) 없이 이름과 라벨(production, staging)을 통해 가져올 수 있게 해줍니다. 변경 사항을 승격(promoting)한다는 것은 라벨을 다시 지정하는 것을 의미합니다. 롤백(rolling back)은 라벨을 다시 지정하는 것을 의미합니다.

팀들이 이를 채택하는 진짜 이유는 UI 때문입니다. 지원 팀장(support lead)이나 PM이 풀 리퀘스트(pull request)를 열지 않고도 거절 메시지의 문구를 수정할 수 있습니다. 이에 대한 반론은—현재 OpenAI 스스로가 주장하는 바와 같이—이미 저장소(repo)에 버전 관리, 리뷰, CI가 갖춰져 있으며, 배포 없이 라이브로 적용되는 프롬프트 수정은 PR이 첨부되지 않은 프로덕션 변경(production change)이라는 점입니다.

결정적인 질문은 간단합니다: 엔지니어링 팀 외부의 누군가가 이 프롬프트들을 수정해야 합니까? 만약 아니라면, 저장소에 그대로 두십시오. 만약 그렇다면, 계속 읽어주세요.

두 가지 아키텍처, 하나의 중대한 결정

거의 모든 도구는 두 가지 형태 중 하나입니다. 런타임 레지스트리 (Runtime registries) (Langfuse, PromptLayer, Braintrust, PromptHub)는 요청 시점에 벤더의 데이터베이스에서 프롬프트를 제공하며, SDK 측 캐싱 (SDK-side caching)을 통해 요청마다 네트워크 홉 (network hop)이 발생하지 않도록 합니다. 수정 사항은 배포 없이 즉시 적용되지만, 이제 런타임 의존성 (runtime dependency)이 발생하며 폴백 경로 (fallback path)가 필요합니다.

Git 네이티브 도구 (Git-native tools) (Promptfoo, Microsoft의 POML 마크업 언어)는 프롬프트를 저장소 내의 파일로 유지하며 그 위에 테스트 하네스 (test harness)를 추가합니다. 머지 (merge) 없이는 아무것도 배포되지 않지만, 문장 하나를 부드럽게 고치고 싶은 PM(제품 관리자)에게는 엔지니어가 필요합니다. MLflow의 Prompt Registry는 그 중간에 위치합니다. 불변의 (immutable) Git 스타일 버전을 제공하지만, 직접 실행하는 서버에서 동작합니다.

잘못된 형태를 선택하는 것은 잘못된 벤더를 선택하는 것보다 더 큰 타격을 줍니다.

평가할 가치가 있는 6가지 도구

PromptLayer

PromptLayer는 귀하의 저장소를 절대 열어보지 않을 사람을 위해 우선적으로 구축되었습니다. 각 저장 시 커밋 메시지 (commit message)와 함께 버전이 생성되며, 릴리스 라벨 (release labels)을 통해 프로덕션에 무엇을 전달할지 결정합니다. 또한 중요한 라벨을 통해 수정 사항이 반영되기 전 승인을 요구할 수 있습니다. 무료 티어는 사용자 5명과 월 2,500개의 요청을 지원합니다. Pro 플랜은 월 $49, Team 플랜은 월 $500로 올라가며, 셀프 호스팅 (self-hosting) 및 RBAC(역할 기반 액세스 제어)는 엔터프라이즈 전용입니다. 협업 편집보다는 평가의 엄격함 (eval rigor)이 우선순위라면 대신 Braintrust를 살펴보십시오.

Langfuse

Langfuse는 대부분의 엔지니어링 팀에게 기본 선택지로 꼽히며, 2026년 1월 ClickHouse의 인수는 이를 더욱 안정적으로 만들었습니다. 해당 기업은 MIT 라이선스, 셀프 호스팅 (Self-hosting), 그리고 기존 클라우드 엔드포인트 (Cloud endpoints)를 유지하기로 약속했습니다. 약 32,000개의 GitHub 스타를 보유하고 있으며, 프롬프트 관리 (Prompt management) 기능이 트레이싱 (Tracing) 및 평가 (Evals) 기능과 나란히 배치되어 있어, 품질 저하가 발생했을 때 이를 생성한 정확한 프롬프트 버전과 연결할 수 있습니다.

SDK는 프롬프트를 메모리에 캐싱 (Caching)하며 fallback을 허용하는데, 이것이 프로덕션 환경에서 런타임 레지스트리 (Runtime registry)를 사용할 수 있게 만드는 핵심입니다. 저는 langfuse 4.14.2 버전에서 접속 불가능한 호스트를 대상으로 이를 검증했습니다:

prompt = langfuse.get_prompt(
    "support-reply",
    label="production",
...

서버가 실행 중이지 않은 상태에서도 두 개의 경고를 로그에 남기고 컴파일된 폴백 (Fallback)을 출력합니다. 셀프 호스팅은 MIT 라이선스 하에 무료이며, 클라우드는 무료(월 50,000 유닛)로 시작하여 Core 플랜은 월 $29입니다. 약점으로는 UI가 PM(Product Manager)보다는 엔지니어를 대상으로 설계되었다는 점과, SSO (Single Sign-On) 강제 적용을 위해 월 $199인 Pro 플랜에 월 $300의 추가 비용을 지불해야 한다는 점이 있습니다.

Braintrust

Braintrust는 평가 (Evals) 관점에서 문제에 접근합니다. 프롬프트는 버전이 관리되는 배포 가능한 객체이지만, 핵심은 변경 사항이 프로덕션 환경에 적용되기 전에 데이터셋 (Datasets) 및 CI 게이트 (CI gates)를 통해 점수가 매겨진다는 점입니다. 2026년 2월에 8,000만 달러를 투자받았으며, Notion, Replit, Cloudflare를 고객사로 두고 있습니다. loadPrompt는 프롬프트를 로컬에서 컴파일하여 모델 호출을 유지하게 하며, invoke는 이를 서버 측에서 실행하고 트레이스 (Trace)를 자동으로 기록합니다. 모든 티어 (Tier)에서 사용자 수 제한이 없는 것은 드문 사례입니다. 단점은 무료에서 Pro로 넘어가는 비용이 월 $0에서 $249로 급격히 뛰며, 만약 평가 (Evals) 기능을 직접 작성하지 않는다면 사용하지 않는 절반의 기능을 위해 비용을 지불하게 된다는 것입니다.

PromptHub

PromptHub는 Git의 사고 모델 (Mental model)을 UI로 구현했습니다. 프롬프트를 브랜치 (Branch)하고, 메시지와 함께 커밋 (Commit)하며, PR (Pull Request)에 상응하는 작업을 열고, 머지 (Merge)합니다. Pro 플랜(프라이빗 프롬프트, 10,000개 요청)이 월 $12로, 여기서 가장 저렴한 유료 티어입니다. 사용자가 직접 제공업체의 API 키를 가져와 토큰 비용을 직접 지불하며, 셀프 호스팅 옵션은 없고, Langfuse나 Braintrust에 비해 관측성 (Observability)이 부족합니다.

MLflow Prompt Registry

이미 전통적인 ML (Machine Learning)을 위해 MLflow를 실행하고 있다면, 이미 프롬프트 레지스트리 (Prompt Registry)를 보유하고 있는 셈입니다. MLflow 3.x 버전부터 Apache-2.0 라이선스 하에 불변의 커밋 기반 버전 (Immutable commit-based versions)과 가변적인 별칭 (Mutable aliases) 기능을 포함하여 제공됩니다. 로컬 SQLite 저장소를 대상으로 3.15.0 버전에서 문제없이 작동했습니다:

import mlflow

mlflow.set_tracking_uri("sqlite:///mlflow.db")
...

한 가지 마이그레이션 참고 사항: mlflow.set_prompt_alias는 이제 FutureWarning을 발생시키므로, mlflow.genai 네임스페이스를 사용하십시오. PM (Product Manager)이 즐겁게 사용할 만한 협업 에디터 (Collaborative editor)는 없지만, 엔지니어링 팀을 위한 무료 레지스트리로서 매우 견고합니다.

Opik

Comet의 Opik은 가장 관대한 오픈 소스 (Open-source) 옵션입니다. Apache-2.0 기반의 셀프 호스팅 (Self-hosted) 빌드에는 기능 제한 (Feature gates)이 없으므로, 평가 (Evals), 가드레일 (Guardrails), 에이전트 최적화 도구 (Agent optimizer)를 모두 무료로 사용할 수 있습니다. 프롬프트 라이브러리는 자동으로 버전 관리가 되지만, 한 가지 주의할 점이 있습니다. 콘텐츠, 메타데이터, 타입의 변경은 새로운 버전을 생성하지만, 이름 변경이나 태그 수정은 생성하지 않습니다. 프롬프트 관리는 주로 에이전트 관측성 (Agent observability) 플랫폼인 이 도구의 기능 중 아주 작은 부분에 불과하므로, 프롬프트가 유일한 문제라면 실행해야 할 소프트웨어가 너무 많을 수 있습니다.

기타 언급할 만한 도구들

LangSmith는 호스팅형 도구 중 단연 최고의 프롬프트 에디터를 보유하고 있지만, 사용자당 과금 방식 (인당 월 $39 + 컴퓨팅 및 스토리지 단위)이 부서 간 협업을 강조하는 제품의 취지와 충돌합니다. Agenta는 여전히 무료로 셀프 호스팅이 가능하지만 에이전트 중심으로 포지셔닝을 변경했습니다. 도입하기 전에 변경 로그 (Changelog)를 확인하십시오. Portkey는 프롬프트를 자체 AI 게이트웨이 (AI gateway)에 묶어서 제공하며, Palo Alto Networks는 2026년 5월에 Portkey 인수를 완료했으나 오픈 소스 게이트웨이에 대한 로드맵은 아직 발표하지 않았습니다.

2026년의 재편, 한눈에 보기

현재 가장 빠르게 실패하는 방법은 이미 시장에서 퇴출된 제품을 채택하는 것입니다:

• Humanloop: 2025년 9월에 운영을 종료했습니다. Anthropic이 창업자들을 채용했으나 플랫폼을 인수하지는 않았습니다. 서비스는 사라졌습니다.
• Helicone: 2026년 3월 Mintlify에 인수되었으며, 현재는 유지보수 전용 모드로 운영됩니다.
• Promptfoo: 2026년 3월 OpenAI에 인수되었습니다. 오픈 소스(Open Source) 상태는 유지되지만, 로드맵은 이제 OpenAI Frontier의 소유입니다.
• Vellum: 2026년 5월에 소비자용 AI 어시스턴트로 피벗(Pivot)했습니다. 더 이상 플랫폼 가격 정책을 공개하지 않습니다.
• Portkey: 현재 Palo Alto Networks 소속입니다. Langfuse: 현재 ClickHouse 소속이며, 공개 오픈 소스(Open-source) 약속을 이행하고 있습니다.

약 18개월 동안 여섯 개의 유명한 이름이 소유권이나 정체성을 변경했습니다. 제가 적용할 필터는 다음과 같습니다: 직접 포크(Fork)하여 자체적으로 실행할 수 있는 도구(Langfuse, MLflow, Opik), 또는 명확한 독립 비즈니스 모델과 최신 자금 조달을 갖춘 도구(PromptLayer, Braintrust)를 선호하십시오. 그 중간에 있는 것들은 회의적으로 바라보아야 합니다.

진짜 질문에 답을 주는 30분간의 테스트

가격 페이지는 귀하의 팀이 실제로 이 중 하나를 사용할지 알려주지 못합니다. Langfuse를 로컬(Local)에서 실행하면 다음과 같은 과정을 거칠 수 있습니다: 레포지토리(Repo)에서 docker compose up을 실행하고, http://localhost:3000에서 프로젝트와 키를 생성한 뒤, pip install langfuse를 수행합니다. 그 다음 하나의 프롬프트를 production 레이블로 등록하고, 앱 내의 하드코딩된 프롬프트 하나를 fallback 기능이 포함된 get_prompt()로 교체합니다. 그런 다음 UI에서 프롬프트를 수정하고 레이블을 옮기면, 실행 중인 앱이 재시작 없이 이를 반영하는 것을 확인할 수 있습니다. 만약 그 순간이 가치 있게 느껴지지 않는다면, 오후 시간 정도의 비용을 들여 이미 답을 얻은 것입니다.

DevToolLab의 전체 가이드에서는 대부분의 팀이 건너뛰는 폴백(Fallback) 테스트와, 나중에 버전 간 품질을 비교할 수 있도록 트레이스(Traces)를 프롬프트 버전과 연결하는 방법을 포함한 8단계의 과정을 상세히 설명합니다.

마이그레이션(Migration) 중에 도움이 되는 두 가지 작은 유틸리티가 있습니다: 버전 간에 내보낸 프롬프트 설정(Prompt configs)을 비교하기 위한 YAML diff checker와, 테스트 케이스의 JSON 배열을 대부분의 평가 하네스(Eval harnesses)가 기대하는 형식으로 변환해 주는 JSON to JSONL converter입니다.

권장 사항 (Recommendations)

• 엔지니어가 아닌 사람이 프롬프트를 편집하는 경우: PromptLayer.
• 프롬프트, 트레이스(Traces), 평가(Evals)를 위한 하나의 도구이며 셀프 호스팅(Self-hosting)이 가능한 경우: Langfuse.
• 프롬프트 변경 사항이 배포 전 반드시 평가(Evals)를 통과해야 하는 경우: 월 $249의 예산이 책정된 Braintrust.
• 이미 MLflow를 사용 중인 경우: 다른 것을 구매하기 전에 MLflow의 Prompt Registry를 사용하세요.
• 프롬프트가 한두 개뿐이고 팀 전체가 엔지니어로 구성된 경우: 리포지토리(Repo)에 그대로 유지하세요. OpenAI의 마이그레이션 가이드가 이 경우에 대해 올바르게 설명하고 있습니다.

참고 문헌 (References)

• DevToolLab의 원문 기사
• Langfuse
• PromptLayer
• Braintrust
• PromptHub
• MLflow Prompt Registry
• Opik
• Microsoft POML