전문가 역할 설정과 예의 바른 표현은 독립적인 측정에서 정확도를 높이지 못하며, 동일한 지침을 다른 단어로 반복하는 것은 OpenAI가 프롬프트에서 제거하라고 권고하는 사항입니다. 반면, 출력의 구조와 볼륨은 결과를 변화시키지만, 이는 예측 불가능하며 모델마다 다르게 나타납니다.

Wharton School의 GPQA Diamond 보고서에 따르면, 동일한 질문을 100번 반복하면서 단 한 단어, 즉 "Please"를 "I order"로 바꾸어 테스트했습니다. 일부 질문에서는 결과가 양방향으로 60퍼센트 포인트나 변동되었습니다. 데이터셋 전체를 평균 내면 예의(politeness)의 효과는 사라졌습니다. 즉, 이 효과는 국지적으로는 실재하지만 전역적으로는 무작위적입니다. 바로 이런 방식이 "마법 같은" 프롬프트를 만들어냅니다. 누군가 운 좋게 한 번 맞춘 사례를 바탕으로 기사를 쓰는 식입니다. Ethan Mollick, Wharton School 교수는 프롬프트 엔지니어링(Prompt Engineering)을 'contingent'—즉, 효과를 미리 예측할 수 없을 정도로 맥락에 의존하는 것이라고 직접적으로 명명합니다.

만약 당신이

Anthropic은 자사의 권장 사항에서 요구 사항과 제약 조건의 구체성(concreteness), 지침의 동기 설명, 원하는 결과 형태에 대한 직접적인 지시, 그리고 말로 설명하기 어려운 경우의 예시(examples)를 유효한 요소로 꼽습니다. 이 회사의 일반적인 원칙은 "최고의 프롬프트는 가장 길거나 가장 복잡한 것이 아니다"라는 것입니다. 두 경쟁 벤더와 독립적인 학술적 측정 결과가 일치하는 것은 이 주제에서 보기 드문 사례이며, 이는 다섯 가지 요소, 즉 작업에 대한 행동(action), 입력 데이터(input data), 엄격한 제약 조건(hard constraints), 출력의 형식 및 양(format and volume of output), 수락 기준(acceptance criteria)을 가리킵니다. 그 외의 것들은 사양(specification)이 아니라 튜닝(tuning)에 불과합니다.

페르소나와 톤은 작동하지 않으며, 이는 두 번의 검증을 통해 확인되었습니다

이 부분의 데이터는 프롬프트 마켓플레이스에 특히 불리합니다. 그곳의 카드(상품 설명)는 종종 "당신은 숙련된 SMM 전략가입니다"로 시작하기 때문입니다. Findings of EMNLP 2024의 연구는 4개의 모델 제품군을 대상으로 2,410개의 실제 질문에 대해 162개의 역할을 실행했습니다. 그 결과, 시스템 프롬프트에 페르소나(persona)를 추가하는 것은 페르소나를 전혀 사용하지 않는 대조군에 비해 성능 향상을 가져오지 못했습니다. 특정 질문에 대해 사후적으로 "최적의" 역할을 찾아낼 수는 있지만, 사전에 이를 맞추는 것은 무작위 선택보다 나을 것이 없습니다.

두 번째로 더 최근에 나온 Wharton 보고서는 6개의 모델과 두 개의 복잡한 벤치마크(benchmark)인 GPQA Diamond 및 MMLU-Pro를 통해 전문가 페르소나를 테스트했습니다. 결과는 동일했습니다. 작업 주제에 맞는 페르소나는 거의 모든 곳에서 유의미한 정확도 향상을 제공하지 못하는 반면, "지식이 낮은" 페르소나—일반인, 어린이 등—는 정확도를 지속적으로 떨어뜨렸습니다. Anthropic 또한 자체 블로그를 통해 독립적으로 동일한 결론에 도달했습니다. 즉, 현대적 모델들에게 무거운 역할 프롬프팅(role prompting)은 대부분 불필요하다는 것입니다.

공손함(politeness)에 관한 상황은 훨씬 더 가공되지 않은 상태입니다. 와세다 대학교의 이전 연구는 무례함이 해롭다는 것을 발견했지만, 250개의 프롬프트와 하나의 모델을 대상으로 한 Mind Your Tone 프리프린트(preprint) 연구는 정반대의 결과를 얻었습니다. 매우 무례한 표현에서는 84.8%의 정확도를 보인 반면, 매우 공손한 표현에서는 80.8%를 기록했습니다. 세 개의 연구, 영어 데이터에 대한 세 개의 서로 다른 결론 — 즉, 톤(tone)의 재현 가능한 효과는 존재하지 않으며, 어느 방향으로든 이를 기반으로 전략을 세우는 것은 무의미합니다.

물은 어디에서 오는가

모델이 필요 이상으로 길게 답변하려는 경향은 특정 신경망(neural network)의 변덕이 아니라, 학습 과정에서의 체계적인 편향(bias)입니다. RLHF(Reinforcement Learning from Human Feedback)의 보상 모델(Reward model)은 실제 품질과 관계없이 체계적으로 더 긴 답변을 선호하며, 이는 길이 편향(length bias) 교정에 관한 연구에서도 확인된 바 있습니다. 여기서 실질적인 결론이 도출됩니다. "짧게 답해줘"라는 요청이 효과가 들쭉날쭉한 이유는, 이것이 명확한 기준을 설정하는 것이 아니라 모델이 기본적으로 '좋은' 답변이라고 간주하는 상세함(verbosity)을 향해 나아가기 때문입니다.

이는 분량과 구조를 구체화함으로써 해결할 수 있습니다. 몇 개의 항목을 작성할지, 각 항목에 몇 단어를 사용할지, 무엇을 제거할지(서론, 반복, 일반적인 주의사항 등), 그리고 무엇을 유지할지(숫자, 해결책, 다음 단계 등)를 지정해야 합니다. OpenAI는 이를 위해 API를 통해 접근 가능한 세 가지 수준의 별도 파라미터인 text.verbosity를 제공하기도 합니다. 일반적인 채팅 환경에서는 프롬프트에 말로 직접 기술하는 방식이 동일한 권장 사항의 텍스트 버전으로 남게 됩니다.

피할 수 없는 반론

여기 구조에 대해 솔직하게 이야기할 때 발생하는 주요 어려움이 있습니다. 구조는 작동하지만, 그 작동 결과가 예측 불가능하다는 점입니다. GPT-3.5-turbo와 GPT-4를 대상으로 출력 형식(output format)을 연구한 결과, 동일한 코드 번역 작업에서도 단순히 형식을 일반 텍스트에서 JSON 또는 YAML로 바꾸는 것만으로 결과값이 최대 40%까지 차이가 나는 것으로 나타났습니다. 이때 GPT-4는 더 낮은 성능의 모델보다 형식 변화에 눈에 띄게 더 안정적이었습니다. 즉, 모델이 최신일수록 형식 변화에 따른 흔들림이 적지만, 그 어떤 모델도 완전히 면역력을 갖추고 있지는 않습니다.

그러면서도 2026년 7월 9일에 출시된 모델 제품군을 위한 최신 가이드에서는, OpenAI가 직접 경고하기를 "짧게 답하라"와 같은 오래된 지침은 이제 답변을 과도하게 축약시키며, "해결될 때까지 작동하라"와 같은 XML 블록이나 프리앰블(preamble) 스크립트는 오히려 역효과를 낸다고 합니다. 불과 얼마 전까지만 해도 동일한 기법들이 베스트 프랙티스(best practice)로 권장되었습니다. 이는 모델의 변화를 견뎌낼 수 있는 보편적인 체크리스트란 원칙적으로 존재하지 않음을 의미합니다. 어떤 규칙 세트든 기사 내용을 그대로 옮겨오는 것이 아니라, 자신의 작업과 자신의 모델에 맞춰 검증해야 합니다. 만약 OpenAI 호환 프로토콜로 연결된 클라이언트를 사용 중이고, 하나의 API를 통해 다섯 가지 모델을 동일하게 바라보고 있다면 — 예를 들어, 모델 변경 시 클라이언트를 다시 작성할 필요 없이 요청 시 이름만 바꾸면 되는 provod.ai를 사용하는 경우라면 — 각 벤더(vendor)별로 별도의 통합 작업을 거치는 대신 단 하룻밤 만에 이러한 검증을 실제로 수행할 수 있습니다.

프롬프트(Prompt) 또는 프롬트

학술적 철자 사전은 오직 "프롬프트 (prompt)"만을 기록하고 있으며, Yandex는 2025년 11월부터 자사 서비스에서 이 표준을 적용하기 시작했습니다. 하지만 검색 쿼리의 80%는 다르게 작성됩니다. 사람들은 표준형보다 "프롬트 (promt)"라는 표현으로 신경망을 더 자주 검색하며, 18~34세 연령층은 다른 연령대보다 2.5배 더 활발하게 이 방식을 사용하면서 올바른 표기를 사용하는 빈도는 더 낮습니다. 러시아 과학 아카데미(RAS) V. V. Vinogradov 러시아어 연구소의 수석 연구원이자 철자 사전의 책임 편집자인 올가 이바노바(Olga Ivanova)는 이러한 차이가 문맹 때문이 아니라 음성학 때문이라고 설명합니다. "'mpt' 자음군을 발음할 때 조음상의 어려움이 있습니다" — 러시아어에서 이 자음 결합은 발음하기 어렵기 때문에, 발음 시 'p'가 탈락하게 되고 이것이 쓰기에도 그대로 반영된다는 것입니다.

혼란의 또 다른 원인은 1991년부터 복사기를 뜻하는 '제록스 (Xerox)'처럼 모든 기계 번역기를 통칭하는 대명사가 된 PROMT 사 자체입니다. 이 회사는 자사의 브랜드와 별개로 철자 표준을 인정하고 있습니다. 즉, 영어 prompt를 그대로 가져온 "프롬프트 (prompt)"만이 올바른 표기입니다. 기사의 본문과 제목에서는 신뢰도를 높이기 위해 표준형을 사용하는 것이 좋고, 검색 노출을 위해서는 검색용 표기를 사용하는 것이 유리합니다. 즉, 선택은 특정 게시물의 목적이 무엇인지에 달려 있습니다.

템플릿 구매 또는 직접 제작하기

스냅샷 시점 기준으로 PromptBase는 31만 개의 프롬프트와 50만 명 이상의 사용자를 보유하고 있다고 주장합니다. 카드 가격은 $2.99에서 $7.99 사이이며, 25만 개의 프롬프트에 접근할 수 있는 구독 서비스는 월 $19부터 시작합니다. 주요 품목은 텍스트 기반의 작업이 아닌 이미지 및 비디오 생성입니다. 한편, OpenAI의 무료 내장 최적화 도구(optimizer)는 마켓플레이스에서 수정 비용을 지불하는 바로 그 결함들을 정확히 탐지해냅니다: 논리적 모순 및 실행 불가능한 지침, 형식에 대한 설명 없이 구조화된 출력(structured output)을 요구하는 경우, 예시와 규칙 간의 충돌, 엣지 케이스(edge cases)에 대한 명세 부족 등이 이에 해당합니다.

성공적으로 구매한 프롬프트라 할지라도 영원하지는 않습니다. 독립 개발자인 Simon Willison은 OpenAI의 최신 가이드를 분석하며, 새로운 모델을 이전 모델의 단순한 드롭인 교체(drop-in replacement)로 간주하지 말라는 벤더의 직접적인 권고를 인용했습니다: "이전 모델의 드롭인 교체(drop-in replacement)가 아니라, 튜닝이 필요한 새로운 모델 제품군(new model family)으로 취급하십시오(treat it as a new model family to tune for, not a drop-in replacement)." 이전 버전의 모델에서 완벽하게 작동하던 프롬프트가 다음 릴리스에서는 완전히 새로 작성해야 할 수도 있다는 점이 모델 개발자의 공식 권고에 명시되어 있습니다. $7.99짜리 카드는 이러한 재검토 과정을 견뎌내지 못할 수도 있지만, 직접 작성한 쿼리는 다시 쓰기가 더 쉽습니다. 슬롯(slots)은 그대로 유지되되, 그 안의 문구만 바뀌기 때문입니다.

실무용 카드: 무엇을 쓰고 무엇을 버릴 것인가

자신의 작업에 이를 검증하는 방법은 매우 간단합니다. 실제 업무용 프롬프트를 가져와서, 아무것도 없는 버전과 5개의 슬롯을 적용한 버전을 각각 3~5회씩 실행한 뒤, 미리 기록해 둔 수락 기준(acceptance criteria)과 비교해 보십시오. 월 19달러의 구독료를 쓰는 대신 15분을 투자하면, 남의 템플릿이 담긴 다음 기사가 나올 때까지가 아니라 다음 모델 릴리스까지 유지될 결과를 얻을 수 있습니다.

provod.ai — 늘어나는 팀과 시나리오를 위한 통합 컨투어(Single Contour)

각 분야마다 별도로 구매할 필요 없이 직원, 제품 및 새로운 모델을 추가하세요: 공통 API와 워크스페이스는 성장에 따른 운영상의 혼란을 줄여줍니다.

하나의 카탈로그에서 텍스트 및 미디어용 최신 모델을 확인하세요: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, xAI의 Grok, DeepSeek, Qwen, GLM, Kimi 및 MiniMax가 포함됩니다. 이미지의 경우 Nano Banana 2 Pro 및 GPT Image를, 비디오의 경우 Seedance, Kling, Veo 및 Google Omni의 최신 버전을 사용할 수 있습니다. 또한 추론(reasoning), 검색, 문서, 임베딩(embeddings), 음악 및 오디오를 위한 모델도 이용 가능합니다.

사용량이 늘어나도 모델 위에 추가되는 애그리게이터(aggregator) 수수료가 없습니다: provod.ai의 자체 마진 없이 제공업체의 가격이 1:1로 유지됩니다.

AI 컨투어를 성장에 대비시키세요: 등록 양식 · 모델 가격 · 152-FZ에 따른 데이터 보호 · API 및 통합

출처