AI의 기억이 오래된 상태로 업무에 투입되는 사고를 방지하기 위한 구현 체크리스트

2026년 6월 2일부터 6월 4일에 공개된 영어 1차 정보를 추적해 보면, AI의 논점은 "어떤 모델이 강한가"가 아니게 되었습니다. 초점은 어떤 기억을 믿고, 어떤 업무 문맥 (business context)을 전달하며, 어디서 멈추고, 어디서 감사 (audit)할 것인가입니다.

OpenAI는 memory를 더 신선하게 유지하는 방향으로 나아가고 있으며, Microsoft는 Work IQ를 통해 업무 문맥을 API화하고, Microsoft Foundry는 runtime controls를 checkpoint에 반영하며, Anthropic은 공격 측이 AI를 더 깊은 공정에서 사용하는 현실을 보여주었습니다. 즉, AI 도입의 성패는 모델 비교가 아니라 경계 설계 (boundary design)에서 결정됩니다.

경계	사고의 기점	구현 규칙
기억	오래된 선호도나 전제를 정답으로 간주함	memory와 business state를 분리한다
문맥	생데이터 (raw data)를 그대로 전달함	allowlist와 schema로 정형화한다
실행	송신·삭제·공개를 직결함	중대 조작은 dry-run과 인간 승인을 거친다
제어	정책이 프롬프트 수준에 머무름	evaluation과 runtime controls를 필수화한다
거버넌스	팀마다 예외 운영이 증가함	owner / audit / budget / retention을 고정한다

OpenAI는 2026년 6월 4일, ChatGPT의 memory를 더 신선하고 일관되게 만드는 업데이트를 공개했습니다. 여기서 중시되는 것은 기억을 늘리는 것 그 자체가 아니라, 오래됨이나 불일치를 줄이는 것입니다.

원문: "freshness, continuity and relevance" (OpenAI: Dreaming)

한국어 번역: 「신선함, 연속성, 관련성".

실무에서 읽어야 할 포인트는 대화 메모리 (conversation memory)를 업무 상태 (business state)와 섞지 않는 것입니다. 대화의 연속성은 편리하지만, 수주 상황, 고객 속성, 진행 중인 태스크의 정본 (source of truth)은 별도로 관리해야 합니다.

memory_policy:
user_preferences:
source: memory_store
...

• memory는 "다음 대화를 편하게 하기" 위한 계층으로 둔다 - 업무 상태는 DB, CRM, 티켓, 대장 등의 정본에 맞춘다
• 오래된 기억을 전제로, 재확인과 덮어쓰기 (overwrite) 동선을 반드시 마련한다

Microsoft는 2026년 6월 2일, Work IQ APIs를 공개하며 에이전트가 업무 문맥을 사용하여 동작하는 방향을 명확히 했습니다. 중요한 점은 에이전트가 읽는 것이 생데이터 그 자체가 아니라, 업무에 최적화된 문맥이라는 점입니다.

원문: "work with business context, not just raw data" (Microsoft 365 Blog)

한국어 번역: 「생데이터가 아니라, 업무 문맥으로 동작한다".

여기서의 구현 실수는 이메일, 회의, 파일, 채팅, CRM의 데이터를 그대로 일괄 전달하는 것입니다. AI가 똑똑해질수록 입력의 거칠음이 그대로 사고율이 됩니다.

context_contract:
allowed_sources:
- calendar
...

• Context는 폴더 동기화가 아니라, 선별된 API 면 (interface)으로 만든다
• Tools와 Context를 분리하여, 읽기 권한과 실행 권한을 별도로 둔다
• 생데이터를 전달하기 전에 스키마 (schema), 마스킹 (mask), 목적을 명시한다

Microsoft Foundry는 작성된 방침만으로는 실제 운영 환경의 제어가 되지 않는다고 명시했습니다. 실제로 입력, 상태, 도구 실행, 출력의 각 지점에서 제어를 걸지 않으면, 에이전트는 예상치 못한 동작으로 흘러갑니다.

원문: "written policies do not translate into working runtime controls" (Microsoft Foundry Blog)

한국어 번역: 「작성된 방침은 그대로 동작하는 실행 시 제어 (runtime controls)로 이어지지 않는다".

이 지적은 그대로 구현 지침이 됩니다. 프롬프트에 주의 사항을 추가하는 것만으로는 부족합니다. 평가, 제어, 재평가를 하나의 루프로 만들어야 합니다.

agent_controls:
checkpoints:
- input
...

• input에서는 주입 (injection)이나 일탈을 검출한다
• state에서는 쓰기 권한과 이력을 관리한다
• tool에서는 dry-run과 allowlist를 우선한다
• output

또한 근거와 출처가 없는 자동 전송을 중단한다.

Anthropic은 2026년 6월 3일, AI를 이용한 사이버 위협의 1년 치를 분석하여, 공격 측이 AI를 더 깊은 공정(process)에 사용하고 있다고 정리했습니다. AI는 단순한 진입점의 자동화가 아니라, 공격 체인(attack chain)의 후반부에도 포함되어 있습니다.

원문: "later, more complex stages" (Anthropic)

일본어 번역: 「후반의, 더 복잡한 공정".

이 현실을 전제로 한다면, 방어 측의 AI 또한 동일한 수준의 책임 분리(separation of duties)가 필요합니다. 탐지(detection), 재현(reproduction), 수정(remediation), 검증(verification)을 하나로 묶어버리면 어느 지점에서 반드시 멈추게 됩니다.

security_lane:
detect: auto
reproduce: auto
...

• AI가 생성한 SQL을 운영 환경(production)에 즉시 실행하지 않는다
• AI가 생성한 메일이나 알림을 자동 전송하지 않는다
• AI가 제안한 수정 사항은 재현 절차와 차이점 검토(diff review)를 거친다
• 파괴적인 작업은 '탐지'와 '실행'의 레인(lane)을 분리한다

OpenAI는 2026년 6월 3일, 프런티어 AI (frontier AI)의 거버넌스에 대해 지속 가능한 연방 프레임워크 (durable federal framework)를 내걸었습니다. 여기서의 메시지는 AI의 규칙은 한 번 정하고 끝나는 것이 아니라, 기술과 제도의 변화에 추종할 수 있는 구조여야 한다는 것입니다.

원문: "a durable federal framework" (OpenAI)

일본어 번역: 「지속 가능한 연방 수준의 프레임워크".

개인 개발이든 회사든 동일한 사고방식을 그대로 적용할 수 있습니다. 정책은 구두 설명이 아니라, 버전 관리(version control)되는 문서와 검토 절차로 남겨야 합니다.

• 규칙은 리포지토리(repository)에 둔다
• 소유자(owner)를 결정한다
• 예외 신청 경로를 고정한다
• 변경 이력을 남긴다
• 외부 환경의 변화를 정기적으로 재검토한다

AI의 기억(memory)·문맥(context)·제어(control)를 분리한다면, 가장 먼저 도입해야 할 최소한의 요소는 이 5가지입니다.

• memory와 business state를 분리한다
• Context는 허용 목록 (allowlist)으로 만든다
• send / delete / publish / pay는 인간의 승인을 거치게 한다
• trace와 evaluation을 남긴다
• 소유자(owner)와 사고 연락처(incident contact)를 결정한다

agent_registry:
memory_source: separate_store
context_scope: allowlisted
...

실패 패턴	위험한 이유	대안
memory를 정본(source of truth)으로 삼음	오래된 전제가 계속 남음	DB와 CRM을 정본으로 삼음
raw dump를 그대로 전달함	기밀 정보와 불필요한 정보가 섞임	스키마화하여 정형화함
프롬프트 (prompt)만으로 제어함	실행 시의 일탈을 막을 수 없음	체크포인트 (checkpoint)와 런타임 제어 (runtime controls)를 배치함
...

2026년 6월 초의 영어권 AI 뉴스는 AI가 '대화하는 도구'에서 '기억하고, 문맥을 이해하며, 행동하는 시스템'으로 이동했음을 보여줍니다. 따라서 가장 먼저 필요한 것은 더 큰 모델이 아니라, 더 명확한 경계입니다.

기억은 단명하게, 문맥은 구조화하고, 실행은 중단 가능한 형태로 만들며, 제어는 평가(evaluation)와 세트로 구성하고, 거버넌스는 업데이트 가능한 메커니즘으로 만든다. 이 부분을 먼저 구축해야 AI는 비로소 운영 환경에 적합해집니다.

• OpenAI: Dreaming: Better memory for a more helpful ChatGPT
• Microsoft 365 Blog: Announcing the new Work IQ APIs
• Microsoft Foundry Blog: Build agents you can trust across any framework with open evals and a control standard
• Anthropic: What we learned mapping a year’s worth of AI-enabled cyber threats
• OpenAI: A blueprint for democratic governance of frontier AI