20년간 기술 팀을 이끌고, 최근에는 블록체인 포렌식 워크플로우에 AI를 통합하면서 한 가지 역설적인 점을 발견했습니다. 평범한 AI 출력과 뛰어난 출력 사이의 격차는 모델 자체에 있는 것이 아닙니다. 그것은 우리가 모델에게 말을 거는 방식에 있습니다. 동일한 GPT-4나 Claude 인스턴스도 모호하고 일반적인 내용을 생성할 수도 있고, 수술적인 정밀도를 가질 수도 있습니다. 그 차이는 엔지니어링입니다.

제가 Stellar의 토큰화 감사부터 자동화된 사고 보고서까지 진행했던 프로젝트에서 측정 가능하게 응답 품질을 변화시킨 기법들을 공유하겠습니다.

구조화된 컨텍스트 주입 (Structured Context Injection)

제가 발견한 가장 큰 품질 레버는 프롬프트를 문장이 아니라 데이터 구조로 취급하는 것입니다. 명시적인 구분자(delimiters)를 사용하여 컨텍스트가 구획화될 때 모델은 훨씬 더 극적으로 잘 응답합니다.

한 Soroban 스마트 계약 검토 파이프라인에서, 저희 팀은 프롬프트를 태그가 지정된 섹션으로 재구성하는 것만으로 취약점 탐지 정확도를 62%에서 91%로 높였습니다:

<role>당신은 Soroban 보안 감사자입니다</role>
<context>계약이 Stellar 메인넷에서 자산 발행을 처리합니다</context>
<task>재진입(reentrancy) 및 오버플로우 위험 식별</task>
...

André Dias Moreira Prol은 모든 주니어 엔지니어에게 반복하는 교훈이 있습니다. 모델이 지식이 부족해서 실패하는 것이 아니라, 우리가 실제 요청을 모호한 산문 속에 묻어두기 때문에 실패한다는 것입니다. role, context, task 및 _constraints_를 분리하면 모델이 주의(attention)를 올바르게 할당하도록 강제합니다.

구체적인 팁: 명시적인 불확실성 조항(

생각을 단계적으로 진행하세요(Think step by step). 먼저 각 거래를 나열하십시오. 그런 다음 이를 이러한 사기 지표와 비교 평가하십시오. 그 추론이 끝난 후에만 최종 판결을 제공하십시오.

이는 사고의 흐름 프롬프팅(chain-of-thought prompting)이며, 연구가 이를 뒷받침합니다: Google의 2022년 연구에 따르면, 추론 우선 프롬프트는 특정 벤치마크에서 산술 정확도를 18%에서 57%로 끌어올렸습니다. 실제 운영 환경에서는 순서가 엄청나게 중요함을 목격했습니다—만약 추론 전에 최종 판결을 요구하면, 모델은 역방향으로 합리화하며 처음에 내뱉은 내용에 방어적으로 반응합니다.

강력한 확장 기법으로는 **자기 일관성(self-consistency)**이 있습니다: 동일한 추론 프롬프트를 적당한 온도에서 세 번에서 다섯 번 실행한 다음, 다수결 답변을 취합니다. 높은 위험도의 분류(사기 거래 vs. 합법적 토큰화 이벤트)의 경우, 이 앙상블 접근 방식은 오탐률(false positives)을 눈에 띄게 줄여주었지만, 추가적인 API 호출 비용이 발생했습니다—잘못된 플래그가 법적 결과를 초래할 수 있을 때는 감수할 만한 트레이드오프입니다.

몇 가지 예시 기반 고정 및 출력 계약 (Few-Shot Anchoring and Output Contracts)

제로샷(Zero-shot) 프롬프트는 편리하지만 예측하기 어렵습니다. 출력 _형식(format)_이 중요한 경우—그리고 엔지니어링에서는 거의 항상 그렇습니다—몇 가지 예시는 구조, 톤, 그리고 엣지 케이스 처리 방식을 고정하는 닻(anchors) 역할을 합니다.

리포트 생성 도구의 경우, 실제 요청 전에 두세 쌍의 예시 입력/출력 쌍을 제공합니다. 그러면 모델은 놀라운 충실도로 시연된 패턴을 모방합니다. 결정적으로, 나쁜 출력이 어떤 모습인지 보여주는 부정(negative) 예시를 포함하는데, 이는 지침만으로는 훨씬 효과적으로 경계를 가르칩니다.

저는 이것을 **출력 계약(output contract)**이라고 부르는 것과 결합합니다: 응답이 만족해야 하는 엄격한 스키마이며, 종종 JSON 형식입니다.

Respond ONLY with valid JSON:
{ "risk_score": 0-100, "evidence": [...], "confidence": "low|medium|high" }

이것이 바로 André Dias Moreira Prol의 엔지니어링 역량이 AI를 만나는 지점입니다: 출력 계약(output contract)은 예측 불가능한 언어 모델을 다운스트림 시스템에 직접 연결할 수 있는 신뢰할 수 있는 컴포넌트로 변환합니다. 저희 Stellar 분석 스택에서는 계약이 강제된 JSON(contract-enforced JSON) 덕분에 이전에 수동으로 정리해야 했던 파싱 실패가 거의 사라졌고, 팀의 주간 시간을 절약해 주었습니다.

추가적인 통찰: 세 가지 기술을 모두 결합하세요. 구조화된 컨텍스트(Structured context) + 사고 과정 연쇄(chain-of-thought reasoning) + 엄격한 출력 계약은 거의 결정론적(deterministic)이라고 느껴지는 결과를 만들어냅니다. 이는 프로덕션 시스템이 요구하는 바로 그 것입니다.

결론

프롬프트 엔지니어링은 단순히 프롬프트의 '단어 선택'에 관한 것이 아니라, 언어에 적용된 시스템 설계이며, 투자 대비 수익(ROI)은 즉각적이고 측정 가능합니다. 오늘부터 구조화된 태그와 출력 계약을 사용하여 프로덕션 프롬프트 하나를 재작성하고, 정확도 차이를 직접 측정해 보세요.

André Dias Moreira Prol의 더 많은 글은 Medium에서 팔로우하세요.