자기 전에 하나 올립니다, 이 영상은 정말 완벽하네요.

Anthropic의 응용 AI 엔지니어 Margot Van Laar가 Code with Claude에서 프롬프트 엔지니어링 (Prompt Engineering) 실전 매뉴얼을 공유했습니다.

핵심 관점은 다음과 같습니다: 우리는 프롬프트를 처음부터 쓰는 경우가 드물며, 대부분의 시간은 이미 존재하는 프로덕션 프롬프트를 디버깅(Debugging)하고 유지보수하는 데 사용한다는 것입니다.

가장 좋은 시작점은 프롬프트를 직접 수정하는 것이 아니라, 언제나 평가 (Eval) 입니다.

그녀는 두 가지 실제 시나리오를 통해 베스트 프랙티스 (Best Practice)를 시연했습니다:

1. 기존 프롬프트 유지보수 **(고객 서비스 로봇)

   • 먼저 일반적인 정리 작업을 수행합니다: XML 태그를 사용하여 구조화하고 (역할/정책/어조/지침 분리), 불필요한 패치를 제거하며, 출력 형식을 명확히 합니다.

   • 흔한 함정: 이전 모델을 위해 추가했던 "금지 목록" 지침은 새로운 모델에서 과적합 (Overfitting)을 일으켜, 모델이 실제로 제공할 수 있는 정보까지 숨기게 만들 수 있습니다.

   • 모델이 정밀한 계산을 수행해야 할 때 지침은 효과가 없으므로, 도구 (Tool)를 제공해야 합니다.

   • 업그레이드/상담원 연결 결정 시에는 비용과 이익 양면을 모두 명확히 설명해야 합니다. 그렇지 않으면 모델이 한쪽 측면만 과도하게 최적화할 수 있습니다.

2. 새로운 에이전트 (Agent) 구축 **(소매업 스케줄링)

   • 단일하고 복잡한 프롬프트는 실패하기 쉽습니다.

   • 더 나은 방법은 생성-평가-수정 (Generate-Eval-Fix) 루프로 분해하여, 세 개의 단순한 프롬프트가 각자의 역할을 수행하게 하는 것입니다.

   • 모델 선택이 중요합니다: 더 강력한 추론 모델 (Opus) + 적응형 사고 (Adaptive Thinking) 조합이 소형 모델 + 복잡한 프롬프트 조합보다 종종 더 효율적입니다.

그녀는 평가 (Eval) 가 변경 사항이 정말로 효과가 있는지 알려주는 유일하고 엄격한 방법임을 반복해서 강조했습니다.

평가 없이는, 그저 운에 맡기는 것뿐입니다.