최근에 저는 한 AI 에이전트에게 본질적으로 다음과 같은 프롬프트를 입력했습니다.

사람들이 돈을 지불할 앱을 만들어주고, 그것을 무료로 마케팅하는 AI 에이전트. Sequoia, a16z, SoftBank, Bessemer, Lightspeed, Kleiner Perkins, Accel, General Catalyst, Temasek, Tiger Global, Insight Partners 같은 곳들이 모두 제 캡 테이블에, 제가 정한 조건으로, 입찰 경쟁을 벌이며 오게 만들 정도로 투자할 만하게 만들어줘.

저는 완전히 진심이 아니었습니다. 좋은 에이전트가 이것을 어떻게 처리하는지 보고 싶었기 때문입니다. 왜냐하면 이 프롬프트의 어떤 버전은 어디에나 존재하기 때문입니다: LinkedIn, Y Combinator 스레드, dev.to 등. 스크린샷되어 자신감 넘치는 캡션과 함께,

• 그것은 사실이 아닌 그럴듯함에 최적화되어 있다. 자신감 있고 잘 구성된 답변과 정확한 답변은 모델에게 동일하게 보인다. 이 간극이야말로 환각(hallucinations)이 존재하는 곳이다.
• 미래나 시장에 대한 특권적인 접근 권한이 없다. 어떤 스타트업이 승리할지에 대한 데이터셋은 존재하지 않는다. 입찰 전쟁(bidding war)은 트랙션(traction), 팀, 타이밍, 그리고 시장의 함수인데, 이 중 어느 것도 텍스트 프롬프트 안에 존재하지 않는다.
• 잃을 것이 없다. 취향도 없고, 책임감도 없으며, 만약 그 조언을 따라 절벽으로 간다면 어떤 결과도 초래되지 않는다.

따라서

나쁜 프롬프트의 특징은 항상 같습니다. 출력물이 훌륭해 보이지만, 당신이 실제로 행동하거나 검증할 수 있는 내용은 아무것도 담고 있지 않습니다. '서비스가 부족한 분야를 위한 AI 기반 컴플라이언스 우선 플랫폼을 구축하세요.' 멋지네요. 그런데 이제 뭘 해야 하죠?

LLM은 구조적으로 유창합니다. 이 모델들은 유창함에 최적화되어 있습니다. 이것을 정확성, 판단력, 또는 통찰력으로 착각해서는 안 됩니다. 위험한 것은 모델이 명백히 틀린 답변을 내놓는 것이 아닙니다. 일반적이고 자신감 넘치는 출력이 '진행'처럼 느껴지는 것입니다. 이는 실제 작업과 같은 도파민을 분비시키지만 반증 불가능하기 때문에, 종종 실패했는지조차 알 수 없습니다.

답변이 맞는지 확인할 수 없다면, 그 모델은 당신에게 도움을 준 것이 아닙니다. 단지 '도움을 받은 것처럼' 느끼게 했을 뿐입니다.

그렇다면 AI 에이전트란 무엇인가?

AI 에이전트는 지니(genie)가 아닙니다. 이는 언어 모델에 루프를 적용하고, 도구들(검색, 코드 실행, 파일 접근, API)과 어느 정도의 메모리를 부여하여, 한 번에 답변하는 대신 목표를 향해 여러 단계를 거칠 수 있게 만든 것입니다.

이것은 정말 강력하며, 이 힘이 무엇인지 정확하게 아는 것이 중요합니다. 에이전트는 당신이 '명시하고 검증할 수 있는' 다단계 작업을 자동화합니다. 이는 작업 수행에 가치가 있는지 여부를 결정하는 판단력, 취향, 또는 도메인 전문 지식을 제공하지 않습니다. 운영자(operator)를 증폭시키는 것입니다. 대체하는 것이 아닙니다.

AI가 진정으로 뛰어난 영역들

저는 매일 이 도구들에 의존하며, 워크플로우에 대해서는 제가 실제로 코드를 출시하기 위해 AI를 사용하는 방법에서 자세히 작성했습니다. 핵심만 요약하자면 다음과 같습니다:

• 초안 작성 및 변환: 대략적인 사양을 첫 번째 초안으로 만들거나, 형식을 변환하거나, 보일러플레이트(boilerplate)를 생성하는 것.
• 영역 탐색: 당신이 선택할 수 있도록 세 가지 접근 방식을 제시하여 결정하지 않는 것.
• 낯선 코드, 라이브러리 또는 오류를 문서(docs)를 처음부터 읽는 것보다 빠르게 설명해 주는 것.
• 이미 절반 정도 이해하고 있는 문제에 대해 지치지 않고 옆에서 도와주는 덤(rubber duck) 역할.

공통점을 주목하세요. 모든 경우에 출력물을 검증할 수 있다는 점입니다. 차이점(diff)을 읽고, 테스트를 실행하고, 주장을 문서와 대조하여 확인합니다. 이 검증 과정은 가치 위에 추가되는 오버헤드가 아닙니다. 그것 자체가 가치입니다.

그리고 이것이 깨지는 지점을 주목하세요. 확인할 수 없는 새로운 진실, 실제 위험을 수반하는 결정, 그리고 결과에 대해 누군가가 책임을 져야 하는 모든 것입니다. 그 누군가는 바로 당신이며, 모델은 그것을 알지 못합니다.

프롬프트가 제품이 아니다

여기서 관점을 전환해야 합니다. 가치는 결코 프롬프트 자체가 아니었습니다. 그것은 오퍼레이터(operator)와 검증 루프(verification loop)의 조합입니다.

약한 오퍼레이터에게 완벽한 프롬프트를 주면, 그들은 평가할 수 없는 자신감 넘치는 쓰레기를 얻게 됩니다. 반면 강력한 오퍼레이터에게 평범한 프롬프트를 주어도 유용한 출력을 얻을 수 있습니다. 왜냐하면 무엇을 질문해야 할지, 무엇을 거부해야 할지, 그리고 돌아오는 것을 어떻게 확인해야 하는지 알기 때문입니다. 기술은 결코 주문(incantation)이 아니었습니다. 그것은 맥락(context), 방향성(direction), 그리고 판단력(judgment)이었습니다. 이것이 제가 계속해서 기발한 프롬프트보다 맥락 공학(context engineering)을 주장하는 이유이며, 이 주제는 AI Engineering 시리즈 전체를 관통하고 있습니다.

여기에 전체 모델을 한 장의 그림으로 보여드립니다. 클릭베이트는 프롬프트에서 행운으로 이어지는 직선을 판매합니다. 실제는 루프이며, 당신이 그 안에 있습니다:

이 환상은 검증 단계도 없고 오퍼레이터도 없습니다. 이것이 바로 그것이 당신이 사용할 수 있는 아무것도 생성하지 못하는 이유입니다. 실제 모델에서는 AI가 중앙에 곱셈기(multiplier)처럼 위치하지만, 루프는 당신으로부터 시작하고 당신으로 끝납니다.

엔지니어처럼 프롬프트 작성하기

만약 이 도구들로부터 실제로 레버리지를 얻고 싶다면, 주문을 버리고 대신 이것을 하세요:

엔지니어처럼 프롬프트 작성하기

이러한 도구들로부터 실제로 레버리지를 얻고 싶다면, 주문을 내리는 것(ordering)을 멈추고 대신 이것을 하세요:

1. 마법의 단어 대신 맥락을 제공하세요. 모델은 당신이 앞에 넣어주는 것에 의해서만 좋거나 나쁩니다. 실제 제약 조건, 실제 코드, 실제 문제를 공급해 주세요.
2. 검증할 수 있는 것을 요청하세요. 반박(falsify)할 방법이 없는 거대한 전략 대신, diff, 테스트, 비교표 또는 인용된 주장을 선호하세요.
3. 모든 출력을 초안으로 취급하고, 절대 답으로 간주하지 마세요. 확인하지 않은 것은 아무것도 믿지 마세요. 이러한 태도는 정확성뿐만 아니라 보안(security)에도 중요하며, 이는 그 자체로 진지하게 다루어야 할 [위협 모델(threat model)]을 가집니다.
4. 판단권을 소유하세요. 모델은 당신이 성공할지에 대한 이해관계가 없습니다. 당신이 가지고 있습니다. 취향, 위험 부담, 그리고 최종 결정권은 항상 당신의 쪽에 두세요.

아웃소싱 할 수 없는 부분

바이럴한 프롬프트는 사고(thinking), 취향(taste), 위험 부담(risk), 검증을 제거하겠다고 약속합니다. 그것들은 당신이 우연히 붙잡혀 있는 지루한 작업 부분이 아닙니다. 그것들이 바로 '작업' 그 자체입니다. 그것들은 항상 당신이 실제로 무언가를 구축할지 여부를 결정해 왔던 부분들입니다.

AI는 우리 분야가 오랫동안 만들어낸 최고의 증폭기(force multiplier)이며, 저는 이것 없이 일하고 싶지 않습니다. 하지만 증폭기가 0을 곱하면 여전히 0입니다. 프롬프트가 제품이 아닙니다. 당신이 제품입니다. 모델이 증폭할 무언가를 가지고 오세요.