한동안 프롬프트 엔지니어링은 완벽한 문구를 찾는 과정처럼 느껴졌습니다.

모델에게 역할을 부여하고, 몇 가지 예시를 추가하며, 구조화된 형식을 요청합니다. 응답이 개선될 때까지 단어를 다듬어 나갑니다.

이러한 기술들은 여전히 중요합니다. 하지만 AI가 실험 단계에서 프로덕션(production)으로 이동할 때, 프롬프트는 훨씬 더 큰 시스템의 한 계층에 불과하게 됩니다.

더 유용한 질문은 더 이상 다음과 같지 않습니다:

어떻게 모델에게 더 잘 프롬프트를 줄 수 있을까?

대신 다음과 같습니다:

모델이 유용하고, 신뢰할 수 있으며, 측정 가능하기 위해 어떤 시스템을 필요로 하는가?

프롬프트 엔지니어링 대 AI 시스템 설계

프롬프트 엔지니어링은 모델에 주어진 지침(instructions)에 초점을 맞춥니다.

AI 시스템 설계는 모델 주변의 전체 환경, 다음을 포함하여 초점을 맞춥니다:

• 모델이 받는 컨텍스트(context)
• 모델이 검색하는 정보
• 모델이 사용할 수 있는 도구
• 평가에 사용되는 테스트
• 행동을 통제하는 제어 장치
• 워크플로우에 내장된 인간 검토

잘 작성된 프롬프트는 모델을 안내할 수 있지만, 회사 정책이 변경되었는지 자동으로 알거나, 출처가 오래되었는지 판단하거나, 고위험 응답에 인간 승인이 필요한지 결정할 수는 없습니다.

그것들은 시스템 설계 문제입니다.

영리한 프롬프트만으로는 충분하지 않은 이유

AI를 사용하여 환불 응답 초안을 작성하는 고객 지원 팀을 상상해 보세요.

프롬프트 중심의 접근 방식은 다음과 같이 시작할 수 있습니다:

고객 지원 전문가 역할을 맡아 정중한 환불 응답을 작성하세요.

팀은

프롬프트 중심의 접근 방식은 다음과 같이 시작할 수 있습니다:

고객 지원 전문가 역할을 맡아 정중한 환불 응답을 작성하세요.

팀은

프롬프트 자체는 여전히 중요하지만, 정확성, 안전성, 그리고 비즈니스 적합성을 위해 설계된 워크플로우 내에서 작동합니다.

프롬프트 사고(Prompt Thinking) vs. 시스템 사고(System Thinking)

프롬프트 사고는 다음과 같이 질문합니다:

더 나은 답변을 얻으려면 무엇을 입력해야 할까?

시스템 사고는 다음과 같이 질문합니다:

사용자가 달성하려는 목표는 무엇이며, AI가 안전하게 도움을 주기 위해 필요한 정보, 검사(checks), 그리고 워크플로우 단계는 무엇일까?

예를 들어, 분석가가 AI에게 판매 추이를 요약해달라고 요청할 때, 프롬프트 사고는 요청의 문구를 명확하게 작성하는 데 초점을 맞춥니다.

시스템 사고는 또한 다음과 같은 질문을 합니다:

• 모델이 최신 데이터에 접근할 수 있는가?
• 데이터셋이 완전한가?
• 답변에서 가정을 공개해야 하는가?
• 결과물이 대시보드, 보고서, 또는 회의 자료 중 어디에 속하는가?
• 그 결과는 어떻게 검증될 것인가?

이러한 변화는 목표를 인상적인 응답을 생성하는 것에서 신뢰할 수 있는 결과를 산출하는 것으로 바꿉니다.

AI 시스템의 다섯 가지 필수 계층(Five Essential Layers of an AI System)

1. 컨텍스트 (Context)

모델은 자신에게 제공된 정보로부터만 추론할 수 있습니다.

AI 시스템이 최신 정책, 제품 문서, 고객 이력, 비즈니스 규칙 또는 작업별 지침을 갖추지 못하면, 프롬프트 개선만으로는 문제를 해결할 수 없습니다.

겉보기에 보이는 많은 모델 실패 사례는 실제로는 컨텍스트 실패입니다.

2. 검색 (Retrieval)

검색 증강 생성(Retrieval-augmented generation)은 정보 찾기와 답변 생성을 분리합니다.

프로덕션 시스템은 승인된 출처를 검색하고, 가장 관련성 높은 구절을 순위화하며, 모델에 필요한 컨텍스트만을 제공할 수 있습니다.

견고한 검색 계층은 불확실성도 처리해야 합니다. 신뢰할 수 있는 출처가 없을 때는 추측하도록 유도하기보다는 시스템이 그렇게 말해야 합니다.

3. 평가 (Evaluation)

출력(Outputs)은 이후 정확성, 인용 품질, 정책 준수 여부, 안전성 및 에스컬레이션(escalation) 행동에 대해 평가될 수 있습니다.

4. 거버넌스 (Governance)

프로덕션 AI 시스템은 명확한 경계가 필요합니다.

거버넌스는 다음을 정의합니다:

• 모델이 무엇을 할 수 있는지
• 무엇을 해서는 안 되는지
• 어떤 데이터에 접근할 수 있는지
• 언제 출처를 인용해야 하는지
• 언제 에스컬레이션해야 하는지
• 결과에 대해 인간의 승인이 필요한지

보안(Security), 개인정보 보호(privacy), 접근 제어(access control), 그리고 프롬프트 주입 방지(prompt injection resistance)는 단순히 프롬프트 내부뿐만 아니라 애플리케이션 레벨에서 다루어져야 합니다.

5. 워크플로우 적합성 (Workflow Fit)

기술적으로 강력한 응답이라 할지라도 사용자의 업무에 맞지 않으면 실패할 수 있습니다.

사용자가 세 줄짜리 티켓 요약본을 필요로 하는데 완벽하게 작성된 세 페이지 분량의 답변은 유용하지 않을 수 있습니다. 상세 분석이 필요한 상황에서 실제 요구사항이 분류(classification), 추천(recommendation) 또는 승인 결정일 경우, 그 분석은 낭비될 수 있습니다.