ORCHESTRATE의 R: 모델에게 정체성을 알려주는 것이 출력을 바꾸는 이유

대부분의 사람들은 프롬프트 튜닝 (prompt-tuning) 노력을 문구 작성에 쏟습니다. 그들은 마법 같은 문장을 찾기 위해 작업을 다섯 번씩 다시 써봅니다. 그동안 프롬프팅 (prompting)에서 가장 저렴하면서도 효과적인 품질 업그레이드 방법은 방치되어 있습니다. 바로 모델에게 자신이 누구인지 알려주는 것입니다.

그것이 바로 ORCHESTRATE의 R, 즉 역할 (Role)입니다. 그리고 이것은 단순한 꾸밈말이 아닙니다.

역할 (Role)이 실제로 하는 일

대규모 언어 모델 (Large Language Model, LLM)은 가능한 응답의 거대한 공간을 포함하고 있습니다. "이 장애를 어떻게 처리해야 할까요?"라는 동일한 질문에 대해, 당황한 주니어, 체계적인 SRE (Site Reliability Engineer), 예산 중심의 VP (Vice President), 또는 컴플라이언스 담당자 (compliance officer)가 답할 수 있으며, 모델은 이들 중 누구라도 설득력 있게 연기할 수 있습니다.

역할을 지정하지 않으면, 모델은 일반적인 혼합 형태, 즉 인터넷 전체에서 해당 질문에 답변하는 방식의 통계적 평균을 선택합니다. 평균적인 답변은 여러분이 원하는 결과인 경우가 드뭅니다.

역할을 지정하는 것은 모델이 단 한 단어를 쓰기 전부터 출력 공간을 좁혀줍니다. 이것은 제약 조건 (constraint)이며, 제약 조건은 역량을 분산시키는 대신 집중시키는 방법입니다.

좋은 역할의 세 가지 구성 요소

역할은 직함 그 이상입니다. 유용한 버전은 세 가지 부분으로 구성되며, 이를 PRO라고 약칭합니다.

• Practice (실무) — 도메인 (domain). 단순히 "전문가"가 아니라 "클라우드 IAM을 전문으로 하는 보안 아키텍트 (security architect)"라고 해야 합니다. 여기서의 구체성은 어휘, 가정, 그리고 모델이 당연하게 여기는 것을 변화시킵니다.
• Rank (직급) — 권한 수준 (authority level). 수석 엔지니어 (principal engineer)와 1년 차 분석가 (analyst)는 위험을 회피하는 방식, 문제를 보고하는 방식, 그리고 트레이드오프 (trade-off) 결정을 내리는 방식이 다릅니다. 직급은 의사결정 태세를 설정합니다.
• Orientation (지향점) — 의사결정 스타일 (decision style). "지루하지만 검증된 기술을 선호하며 트레이드오프를 명확히 밝힌다"는 "참신함을 최적화한다"는 문구보다 측정 가능한 수준으로 다른 답변을 만들어냅니다. 이것은 거의 모든 사람이 생략하는 부분이지만, 출력물의 판단력을 가장 크게 형성하는 부분입니다.

구체적인 전후 비교

역할이 없는 경우:

이 데이터베이스 스키마 (database schema)를 검토하고 개선 사항을 제안하세요.

일반적인 체크리스트를 받게 됩니다: 인덱스 추가, 정규화, 캐싱 고려 등. 괜찮긴 하지만, 기억에 남지 않으며 아마도 당신의 실제 문제에는 맞지 않을 것입니다.

역할(Role)이 있는 경우:

당신은 대규모 운영 환경에서 Postgres를 실행해 온 수석 데이터 아키텍트(principal data architect)입니다. 당신은 정규화(normalization)를 인지하면서도 실용적이며, 인덱스 우선(index-first)으로 사고하고, 편의성보다 데이터 무결성(data integrity)을 보호합니다. 이 스키마를 검토하고 개선 사항을 제안하되, 마이그레이션 중단(migration outage)의 위험이 있는 변경 사항은 표시하세요.

이제 출력물은 쿼리 실행 계획(query plans)에 대해 추론하고, 특정 복합 인덱스(composite index)를 지목하며, 컬럼 이름 변경 시 발생할 수 있는 잠금(lock)에 대해 경고하고, 제안 사항을 위험도 순으로 나열합니다. 동일한 모델, 동일한 스키마입니다. 바뀐 것은 오직 당신이 모델에게 '누구인지'를 말해준 것뿐입니다.

이것이 가장 레버리지가 높은 구성 요소인 이유

ORCHESTRATE 프레임워크에서 기초는 목적(Objective), 역할(Role), 맥락(Context)이며, 이 세 가지가 품질의 약 80%를 결정합니다. 목적(Objective)은 핵심적인 지지대 역할을 하지만, 역할(Role)은 세 가지 중 추가하는 데 비용이 가장 적게 들면서도 가장 일관되게 누락되는 요소입니다.

단 한 문장만 추가하면 됩니다. 그러면 당신은 인터넷의 평균적인 답변을 묻는 것을 멈추고 특정 분야의 전문가에게 묻기 시작하게 되므로, 더 날카롭고, 주관이 뚜렷하며, 더 유용한 답변을 얻게 됩니다.

실질적인 시사점

다음번의 복잡한 프롬프트(prompt)를 작성하기 전에 한 가지 질문에 답해 보세요: 이 출력물이 누구의 전문성을 전달해야 하는가? 그런 다음 이를 도메인(domain), 권위(authority), 의사결정 스타일(decision style)의 세 부분으로 작성하여 맨 위에 배치하세요.

당신은 모델을 가두는 것이 아닙니다. 모델의 모든 역량을 당신이 실제로 원하는 답변에 집중시키고 있는 것입니다.

이 글은 전문적인 AI 출력을 위한 11가지 구성 요소 프레임워크인 ORCHESTRATE Method 시리즈의 일부입니다.