요약(TLDR). AI의 컨텍스트 손실(context loss)은 단순한 불편함이 아니라, 저에게는 구성 관리(configuration management) 문제처럼 느껴졌습니다. 에이전트 간의 불일치(Agent disagreement)는 대개 인터페이스 제어(interface control) 문제처럼 보였고, 프롬프트 드리프트(Prompt drift)는 추적성(traceability)이 없는 요구사항 변동성(requirements volatility)처럼 보였습니다.

저는 몇 주 전부터 취미로 AI 제품을 만들기 시작했습니다. 주로 AI가 조만간 제 직업을 대체하지는 않겠지만, AI를 사용할 줄 아는 누군가가 제 직업을 대체할 것이라는 가정하에 시작했습니다.

첫 주 만에 저는 컨텍스트 손실(context loss)이라는 벽에 부딪혔습니다. 모델은 지난 세션에서 무엇을 만들었는지 잊어버리고, 세션 2에서 내린 결정은 세션 5가 되면 보이지 않으며, 컨텍스트를 다시 설명하는 데 많은 시간을 허비하게 됩니다.

저는 거기서 빠르게 패턴을 발견했습니다. AI의 문제가 아니라, 시스템 엔지니어링(systems engineering)의 문제처럼 보였습니다.

저는 위성 시스템 엔지니어링(satellite systems engineering) 분야에서 일합니다. 제 본업은 함대 전략(fleet strategy), 탑재체 계획(payload planning), 수요 모델링(demand modelling), 배치 제약(deployment constraints) 등으로, 복잡한 시스템을 제대로 분해(decompose)하는 법을 배우는 종류의 일입니다. 그렇지 않으면 궤도상에서 매우 값비싼 실수를 저지르게 되기 때문입니다.

시스템 엔지니어링에서 철저하게 교육받는 실패 모드(failure mode) 중 하나는 추적성(traceability)이 없는 요구사항 변동성(requirements volatility)입니다. 상류(upstream)에서 무언가를 변경하면 하류(downstream)에서 무엇이 고장 났는지 알 수 있는 신뢰할 수 있는 방법이 없습니다. 멀티 세션 AI 개발도 이와 동일한 유형의 문제를 가진 것처럼 보였습니다. 세션 3에서 결정을 내리면, 모델은 세션 7이 될 때까지 그 결정이나 그 종단점(end points)에 대한 기억이 없으며, 세션 8에서는 모델이 어떤 상태를 상상해내어 전체 리포지토리(repo)를 업데이트해야 한다고 제안하는 바람에 그 충돌을 디버깅하며 시간을 보내게 됩니다.

또 다른 익숙한 느낌은 인터페이스 모호성(interface ambiguity)이었습니다. 위성 시스템에서 두 하위 시스템(subsystems)의 인터페이스가 정의되지 않았다면, 결국 예상치 못한 상호작용을 일으키게 됩니다. 일반적으로 그들 사이의 경계가 제대로 지정되지 않았기 때문입니다. 저의 멀티 에이전트(multi agent) 워크플로우에서도 동일한 일이 일어나고 있는 것처럼 보였습니다.

빌드가 복잡해짐에 따라, 세션 간에 알려진 상태(known state)를 정의하고 전달해야 할 필요성이 점점 더 중요해졌습니다. 그래서 저는 그 주변에 일종의 구조를 만들기 시작했고, 결국 이를 MACK(Multi-Agent Continuity Kernel, 멀티 에이전트 연속성 커널)라고 부르게 되었습니다.

그 아이디어는 AI 워크플로우도 아마 시스템 모델(systems model)과 동일한 구조적 로직이 필요할 것이라는 점이었습니다. 즉, 지속적인 베이스라인(baseline), 정의된 인터페이스(interfaces), 고정 기능 서브시스템(fixed-function subsystems), 그리고 세션 전반에 걸친 일종의 구성 제어(configuration control)가 필요하다는 것입니다.

저는 고정 기능 에이전트(fixed-function agents)를 사용하기 시작했습니다. 각 에이전트는 역할이 고정되어 있어 표류(drift)하지 않습니다. Architect(설계자), Builder(구축자), Compression(압축), Review(검토), Security(보안)와 같은 식입니다. 빌드 중간에 서브시스템의 범위(scope)가 변경되는 것을 원치 않는다는 것이 그 핵심 논리였습니다.

채팅 로그 대신 세션 커널(session kernel)을 사용하는 것입니다. 모든 세션이 끝날 때마다 Compression(압축) 에이전트가 무엇이 결정되었는지, 왜 결정되었는지, 어떤 인터페이스가 정의되었는지, 무엇이 변경되어서는 안 되는지, 그리고 다음 세션이 어디서부터 시작되어야 하는지에 대한 구조화된 기록을 생성합니다. 본질적으로는 맥락을 놓치지 않고 계속 진행하는 데 필요한 최소한의 컨텍스트(context), 즉 빌드와 함께 이동하는 이동식 베이스라인(travelling baseline)을 만드는 것입니다.

솔직한 한계점도 있습니다. Compression(압축)은 손실이 발생합니다(lossy). 만약 커널이 잘못되면, 그 하위의 모든 과정이 해당 오류를 상속받게 됩니다. 또한 어떤 상태가 중요하고 왜 중요한지를 이해하기 위해 초기에 실제적인 작업을 수행해야 하므로 첫 번째 세션은 더 느립니다.

이것이 제가 이번 달 동안 지금까지 구축한 것입니다.

AI, 암호화폐(crypto), 우주, 에너지, 로보틱스 등 10개 카테고리에 걸친 데일리 기술 뉴스 피드로, 매일 UTC 06:00에 업데이트됩니다. 데일리 피드에 연결된 채팅 위젯을 통해 오늘 무엇이 중요한지 물어볼 수 있습니다. 주류 뉴스(Mainstream news)와 세계 헤드라인도 동일한 파이프라인(pipeline)에서 실행되며, 각 기사는 무엇이 일어났는지, 왜 중요한지, 그리고 무엇을 주목해야 하는지를 다루는 짧은 브리핑으로 확장됩니다. 또한 5분 이내에 읽을 수 있도록 설계된 월요일 요약(Monday digest)도 있습니다.

도구 측면에서는, 프로젝트 컨텍스트를 입력받아 구조화된 MACK 연속성 문서를 출력하는 무료 커널 생성기(kernel generator)가 있습니다.

가중치가 적용된 희귀도(rarity)와 일련번호가 부여된 풀 해상도 다운로드를 제공하는 두 종류의 AI 트레이딩 카드 포지(forges). 그리고 Claude가 대본을 쓰고 Gemini가 패널을 그리며, 인간의 개입(human in the loop) 없이 매일 07:00 UTC에 발행되는 완전 자동화된 일간 오피스 만화 연재.

그리고 제가 해킹을 당했기 때문에, 프롬프트 골프(prompt golf) 스타일의 해커 게임을 만들었습니다. 현재 라이브 상태입니다. 오직 단어만을 사용하여 탐지 레이어(detection layer)를 뚫고 카나리(canary)를 해방할 수 있는지 확인해 보세요. 실시간 점수 산정 및 얼마나 멀리 가는지 확인할 수 있는 리더보드가 제공됩니다.

무료 뉴스 피드는 https://www.quantumrx.eu/ 에서 확인할 수 있으며, AI 데모는 https://forge.quantumrx.eu/ai-labs.html 에서 확인할 수 있습니다.
제출자: /u/No_Ninja_5063
[링크] [댓글]