고통스러운 지점: 프롬프트를 수백 번 튜닝하고, Few-shot 예시를 쌓아 올리고, temperature=0으로 설정했지만 — 출력은 여전히 불안정합니다. 당신만 그런 것이 아니며, 당신의 잘못도 아닙니다. 이것은 패러다임의 문제입니다.
배울 내용:

• 4단계 진화의 전체 지도: Prompt (프롬프트) → Context (컨텍스트) → Harness (하네스) → Loop (루프)
• 오늘날 당신이 정확히 어느 단계에 있는지 식별하는 방법 (구체적인 인식 신호 포함)
• Guides × Sensors 2×2 매트릭스 — 에이전트 시스템의 모든 제어 메커니즘이 어떻게 4개의 사분면에 배치되는지
• 최소 한 단계를 뛰어넘기 위해 이번 주에 취할 수 있는 세 가지 행동
• 왜 "모델이 문제다"라는 말이 거의 항상 틀린 것인지

1. 어색한 합의

2026년, LangChain 연례 조사에서 불편한 진실이 드러났습니다. 응답자의 약 3분의 1이 "출력 품질(output quality)"을 에이전트를 프로덕션에 투입하는 데 있어 가장 큰 장애물로 꼽았으며 — 이는 2년 연속 1위를 차지한 결과입니다. 직원 수가 10,000명 이상인 기업에서는 환각(hallucination)과 출력 일관성(output consistency)이 주요 품질 우려 사항으로 지목되었습니다.

여기 핵심이 있습니다: 이것은 모델의 문제가 아닙니다. GPT-4, Claude 4, Gemini 2.5 — 어떤 프론티어 모델(frontier model)이라도 단일 추론(single-inference) 능력은 이미 충분히 강력합니다. 문제는 **시스템(system)**입니다. 당신은 모델을 어떤 환경에 두었습니까? 모델에게 적절한 컨텍스트(context)를 제공했습니까? 모델이 행동하기 전에 오류를 차단했습니까? 모델이 행동한 후에 결과를 확인했습니까? 모델이 모든 실패로부터 학습하도록 했습니까?

지난 4년 동안 "어떻게 하면 LLM이 인간이 필요로 하는 일을 하게 만들 것인가"에 대한 엔지니어링 관행은 **네 번의 패러다임 전환(paradigm shifts)**을 거쳤습니다. 오늘 저는 하나의 그림과 하나의 매트릭스를 사용하여 당신이 정확히 어디에 서 있는지 파악하도록 도와드리겠습니다.

The four-level evolution ladder: Prompt Engineering → Context Engineering → Harness Engineering → Loop Engineering
AI 엔지니어링의 네 가지 패러다임 전환 (2026) — 문구 작성(wording craft)에서 시스템 엔지니어링(systems engineering)까지.

2. 네 가지 레벨: 문구 작성(Wording Craft)에서 시스템 엔지니어링(Systems Engineering)까지

Level 1: 프롬프트 엔지니어링 (Prompt Engineering) (여전히 탐색 중)

초점: 한 번 말하는 것을 관리하는 것.
모델이 가장 쉽게 이해할 수 있는 형식으로 작업을 작성하는 것입니다. 본질적으로 이것은 문구의 기술(craft of wording)입니다.

일반적인 특징:

• 프롬프트, 온도(temperature), 그리고 몇 가지 예시(few-shot examples)를 조정하는 데 많은 시간을 할애합니다.
• 모델이 업그레이드될 때마다 모든 것을 처음부터 재조정해야 합니다.
• 품질 상한선이 낮고 출력이 불안정합니다.

인식 신호: 에이전트가

• 최초 시도에 성공할 확률을 높인다 (Raise the probability of getting it right the first time) — 순방향 제어(feedforward control), 즉 가이드(Guides)
• 출력이 인간의 눈에 도달하기 전에 자체적으로 수정하는 피드백 루프를 제공한다 (Provide feedback loops that self-correct before output ever reaches human eyes) — 피드백 제어(feedback control), 즉 센서(Sensors)

Böckeler는 이를 2×2 매트릭스로 추상화했습니다. 순방향/피드백 × 계산/추론입니다. 이 매트릭스가 제가 제시하는 전체 시스템의 이론적 기반입니다.

일반적인 특징:

• 메이커(Maker)/체커(Checker) 분리; 물리적 파이프라인을 통해 검증 강제
• 구조화된 출력 스키마 제약(Structured-output schema constraints)
• 계층적 검증: 모든 전제 조건에 대해 계산적 점검 실행, 추론적 점검은 샘플링으로 실행
• 폐쇄 루프(closed loop): 실패 포착 → 분류 → 평가 세트(eval set)로 입력 → 규칙 수정

인식 신호: 더 이상 '불안정한 출력'을 기다렸다가 고치는 것이 아니라, 그것이 생성되기 전에 가로채게 됩니다.

레벨 4: 루프 엔지니어링 (Loop Engineering) (최첨단 관행)

초점: 시스템이 시간이 지나도 올바르게 작동하도록 관리하고 — 더 잘 작동하도록 만드는 방법입니다. Harness는 공간적(spatial) 구조를 제약합니다(모델을 감싸는 것); Loop은 시간적(temporal) 구조를 제약합니다(실행이 시간 경과에 따라 수렴하고 진화하는 방식). 세 가지 중첩된 루프가 있습니다:

• L1 — 태스크 내 에이전트 루프 (intra-task agent loop) (초): 인식 → 추론 → 행동 → 관찰 → 성찰; 시도당 성공률을 높임
• L2 — 세션 간 외부 루프 (cross-session outer loop) (분): 각 라운드는 새로운 컨텍스트로 시작하며, 상태는 디스크에 지속적으로 저장되고, 완료될 때까지 반복함
• L3 — 학습 루프 / 평가 플라이휠 (learning loop / evaluation flywheel) (일): 프로덕션 실행 → 실패 클러스터링 → 평가 사례(eval cases) → 규칙 수정 → 회귀 검증

Three nested loops: L1 task loop (seconds), L2 session loop (minutes), L3 learning loop / eval flywheel (days)
Harness는 공간을 형성하고; Loop은 시간을 형성합니다 — L1이 L2 안에, L2가 L3 안에.

인식 신호: 시스템이 같은 오류를 두 번 실패하는 법이 없습니다 — 모든 실패는 새로운 규칙이 됩니다.

✅ 당신이 지금 읽고 있는 이 WeChat 계정은 전체 발행 시스템을 레벨 4 (Level 4)에서 운영합니다.

3. 가이드(Guides) × 센서(Sensors) 매트릭스: 4개 사분면 전체의 커버리지

이것은 보고서에서 가장 실용적인 프레임워크입니다. Böckeler는 모든 제어 메커니즘을 2×2 매트릭스(matrix)에 배치했습니다:

The Guides × Sensors 2×2 control matrix: computational/reasoning × feedforward/feedback
에이전트 시스템의 모든 제어 메커니즘은 4개의 사분면 중 하나에 속합니다 — 나의 시스템은 이 모든 영역에 물리적 커버리지를 갖추고 있습니다.

제 시스템은 이제 4개 사분면 모두에 물리적 커버리지를 갖추고 있습니다:

• A · 연산적 피드포워드 (Computational feedforward) → check_card_completeness.py + STANDING.md 철칙 주입
• B · 추론적 피드포워드 (Reasoning feedforward) → SOUL.md 브랜드 DNA + 3막 구조 서사 프레임워크
• C · 연산적 피드백 (Computational feedback) → validate_article.py / check_series_continuity.py / article_checker.py / publish_gate.py
• D · 추론적 피드백 (Reasoning feedback) → evals_writing.py 작문 평가 세트 + writing_lessons.md L3 학습 루프

✅ 검증 (Verification) · 🩸 함정 (Pitfalls) · 💼 가치 (Value) · ▸ 전환 (Transition) — 이 네 가지 게이트 기호는 장식이 아닙니다. 이것들은 모든 기사가 문 밖으로 나가기 전에 반드시 통과해야 하는 물리적인 게이트(gates)입니다.

4. 이번 주에 할 수 있는 세 가지

당신이 어느 레벨에 있든, 3일 이내에 시작할 수 있는 세 가지 방법은 다음과 같습니다:

1. 레벨 1~2 단계라면: 프롬프트에서 핵심 SOP(표준 운영 절차) 하나를 추출하여 코드로 작성하세요. 예를 들어, 모델에게 "먼저 검토한 다음 게시하세요"라고 말하지 마세요. 대신 검토가 통과되었을 때만 실행되는 체크포인트(checkpoint)를 코드로 작성하십시오. 이 단 한 번의 움직임이 당신을 레벨 3로 즉시 도약시킵니다.

2. 레벨 3 단계라면: 최소한의 평가 세트(eval set)를 구축하세요. 실제 실패 사례에서 추출한 20개의 작업이면 충분합니다. 이를 개발 주기(development cadence)에 연결하십시오. 모든 변경 사항은 배포되기 전에 회귀(regression) 없이 평가 세트를 통과해야 합니다. 그것이 레벨 4의 시작점입니다.

3. 당신이 어디에 있든: 하나의 규율을 채택하세요 — 두 번 발생하는 나쁜 일은 규칙이 됩니다. Hashimoto의 말을 빌리자면 다음과 같습니다: "나쁜 일에 대해서는 — 그것이 다시는 발생하지 않도록 하십시오. 좋은 일에 대해서는 — 도구에 의해 검증 가능하도록 만드십시오."

5. 당신은 현재 어디에 있습니까

지금 이 순간, 당신은 더 이상 프롬프트를 조정하며 운에 맡기기를 바라는 디버거(debugger)가 아닙니다. 당신은 환경을 설계하고, 표준을 정의하며, 피드백 루프(feedback loops)를 구축하는 **시스템 사고가(systems thinker)**가 되어가고 있습니다.

불안정성의 실제 원인은 모델의 기질 때문인 경우가 거의 없습니다. 그것은 바로 시스템의 부재 때문입니다. 하네스(Harness)는 시스템에 골격을 제공하고, 루프(Loop)는 시스템에 심장 박동을 제공합니다. 이 두 가지를 결합하면, 당신의 에이전트(agent)는 "사용 가능한" 수준에서 "신뢰할 수 있는" 수준으로 진화합니다.

다음 기사에서는 OPC의 운영체제(operating-system) 수준으로 돌아가, 이 4단계 프레임워크를 당신의 엔지니어링 시스템에 안착시키는 방법을 다룹니다. 우리는 하나의 구체적인 사례를 살펴볼 것입니다. 단 하나의 함수가 어떻게 5단계의 검증을 통과하고 출력 정확도를 80%에서 99.99%로 끌어올리는지에 대해 말이죠.

저자 소개: Wu Ji (无记) — 에이전트 엔지니어링(Agent engineering), 루프 엔지니어링(Loop Engineering), 디지털 전환(digital transformation)에 집중하는 AI 및 디지털화 실무자. 실용적이고 직접적인 튜토리얼 — 따라 하기만 하면 바로 작동합니다.