LLM 컨텍스트가 어떻게 작동하는지, 그리고 컨텍스트 제한을 어떻게 극복하는지 — 즉 '컨텍스트 엔지니어링 (context engineering)' — 을 아는 것이 매우 중요해지고 있습니다. @dexhorthy 만큼 이를 잘 설명해 줄 사람은 없습니다.

타임스탬프:

00:00 서론
01:33 Dex의 기술 분야 입문 경로
03:34 플랫폼 엔지니어링 (platform engineering) 초기 작업
05:28 Replicated
11:24 Metalytics
12:36 12-factor 에이전트 (agents)
18:27 컨텍스트 엔지니어링 (context engineering)
23:38 하네스 엔지니어링 (Harness engineering)
26:11 컨텍스트 과부하 (Context overload)
30:45 루프 엔지니어링 (Loop engineering)
44:34 AI 이전과 이후의 소프트웨어 팩토리 (Software factories)
50:33 자동화의 한계
55:18 자동화를 위한 세 가지 옵션
59:00 RPI 프레임워크
1:04:16 의도적 압축 (Intentional compaction)
1:11:48 토큰 하더 (Token harder) vs 토큰 스마터 (Token smarter)
1:16:44 AI 슬롭 (AI slop)
1:19:15 HumanLayer
1:29:09 도서 추천

제공:

• @AntithesisHQ — Antithesis를 사용하면 정확도에 대한 걱정 없이 AI 에이전트 (agents)를 사용하여 핵심 시스템을 작업할 수 있습니다. Jane Street, https://t.co/MTEw4IA0qA, 그리고 etcd 커뮤니티와 같은 팀들이 더 나은 코드를 더 빠르게 배포하기 위해 Antithesis를 사용합니다. https://t.co/AKYm4cbVCU

• @buildkite — 신뢰할 수 있는 확장을 위해 구축된 CI 오케스트레이션 (orchestration) 플랫폼입니다. OpenAI, Anthropic, Cursor, Meta, Uber, Ramp, Nvidia, Airbnb 및 기타 많은 곳에서 사용됩니다. https://t.co/NOnTAHsCDD

• @sentry — 개발자가 개발자를 위해 만든 애플리케이션 모니터링 소프트웨어입니다. 이들의 AI 에이전트 (agent)인 Seer AI와 Sentry MCP를 확인해 보세요. https://t.co/Ig2WcWttl3

이번 에피소드에서 얻은 세 가지 흥미로운 학습 내용:

1. 교훈: 읽지 않은 코드를 배포하는 것은 몇 달 안에 재앙을 불러옵니다.

Dex는 2025년 7월에 모델이 코드를 작성하게 하고 인간은 아무것도 검토하지 않는 실험을 했습니다. 4개월 후, 그들은 모든 것을 중단하고 시스템 전체를 폐기했습니다. 운영 환경이 망가졌고, 팀이 Opus 4.1에게 아무리 많은 프롬프트 (prompt)를 주어도 모델은 근본 원인을 찾을 수 없었습니다. 문제를 해결한 후, 그 누구도 읽어본 적 없는 코드베이스에 다시 적응하는 데 무려 3주(!!)가 걸렸습니다.

2. 컨텍스트 엔지니어링 (context engineering) 기초: '멍청한 구역 (dumb zone)'이 어디서 시작되는지 파악하십시오.

경험적인 규칙(rule of thumb)에 따르면, 컨텍스트 윈도우 (context window)를 적게 사용할수록 결과가 더 좋습니다. 이는 어텐션 메커니즘 (attention mechanism)이 이차 함수적 (quadratic)이기 때문입니다. 즉, 컨텍스트 윈도우에 더 많은 정보가 들어갈수록 이를 모두 처리하는 데 더 많은 연산 (compute)이 필요합니다.

3. “당신이 전적으로 옳습니다!” 또는 “그 부분에 대해 반박하는 것이 맞습니다”와 같은 문구는 새로운 세션을 시작해야 할 때임을 의미합니다.

이러한 응답은 LLM 세션이 궤적 오염 (trajectory-poisoned)되었음을 의미하며, 대화를 계속하는 것은 시간과 토큰 (tokens)을 낭비하는 일입니다. 이는 모델이 자기회귀적 (autoregressive)이기 때문입니다.