요약 (Summary)

저는 프론티어 모델 (frontier models)의 공식 문서와 연구 논문들을 비교하며, AI 에이전트를 위한 메모리 및 지침 (instructions)을 설계하는 방법에 대해 두 차례에 걸쳐 검토했습니다. 첫 번째 검토의 결론을 그대로 받아들이는 대신, 각 지원 논문이 어떤 세대의 모델을 대상으로 측정했는지 감사(audit)했습니다. 5개의 주요 논문 중 단 하나도 프론티어 모델을 대상으로 측정하지 않았으며, 이와 더불어 세 기업의 공식 문서가 동일한 방향으로 변화하고 있음을 확인했습니다. 저의 근거는 논문의 본문을 직접 읽고 확인하며 작성한 노트와 각 기업의 공식 문서 원문입니다. 또한, 이러한 결론이 기술 블로그를 위한 멤버십 플랫폼의 운영 규칙에 어떻게 반영되었는지에 대해서도 다룹니다.

현재 공식 문서가 말하는 내용

모델 제공업체들은 공식 문서에서 이전 세대를 겨냥한 상세한 지침이 오늘날의 모델에서는 출력 품질 (output quality)을 저하시킬 수 있다고 명시하고 있습니다. Anthropic의 Claude 3.5 Sonnet (원문 오기: Claude Fable 5로 추정되나 원문 유지) 공식 문서에 따르면, 이전 세대 모델을 위해 구축된 기술들은 과도한 지시 (over-instruct)를 유발하여 출력 품질을 낮출 수 있으므로, 기본 동작이 더 낫다면 이전 지침을 삭제하는 것을 고려해야 한다고 합니다. 또한, 이제는 각 동작을 하나씩 나열하고 이름을 붙이지 않고도 짧은 지침만으로 모델을 유도 (steer)할 수 있다고 설명합니다. 동일한 제공업체의 기술진은 코딩 도구를 위한 시스템 프롬프트 (system prompt)의 80% 이상을 삭제했음에도 불구하고 평가에서 측정 가능한 성능 저하가 나타나지 않았다고 보고했으며, 그들이 삭제한 부분은 이전 모델의 최악의 동작을 방지하기 위해 필요했던 제약 조건 (constraints)들이었다고 설명했습니다.

OpenAI도 같은 방향을 가리키고 있습니다. GPT-5.6의 공식 문서에는 지침을 간결하게 유지하라는 섹션이 있으며, 구체적인 수치를 제시합니다. 반복적인 지침과 예시를 줄이고 도구 설명 (tool descriptions)을 간결하게 만들었을 때, 내부 평가 점수 (internal evaluation scores)가 약 1015% 상승했고 총 토큰 (tokens) 수는 4166% 감소했습니다. Google의 개발자 가이드에서는 이전 모델을 위해 작성된 장황하거나 지나치게 복잡한 프롬프팅 (prompting) 기법은 과잉 분석 (over-analyzed)될 수 있으므로 간결하게 작성하라고 명시합니다. 세 곳 중 두 곳만이 수치를 제공했으며, 두 곳 모두 독립적인 측정값이 아닌 제공업체 자체 보고서라는 점은 분명하지만, 세 곳 모두 지침의 방향이 동일하다는 사실은 변하지 않습니다. 시간이 흐르며 누적된 지침 문서는 그대로 방치될 경우, 새로운 세대의 모델에서 출력 품질 (output quality)을 떨어뜨리기 시작할 수 있습니다.

지원 논문들이 측정한 모델의 세대

여기서 잠시 멈추겠습니다. 얼마 전 제가 에이전트 메모리 (agent memory)에 관한 연구를 폭넓게 조사했을 때, 1차 검토의 결론은 이와 반대되는 방향이었습니다. 정제된 교훈 (distilled lessons)만으로 계속 업데이트할 경우 메모리가 저하될 수 있으며, 대화의 가공되지 않은 파편 (raw fragments)을 메모리로 유지하는 것이 처리된 메모리 (processed memory)보다 낫다는 논문들의 근거를 바탕으로, 저는 가공되지 않은 로그 (raw logs)가 정제 (distillation)보다 낫다고 결론지었습니다. 하지만 그 결론을 설계에 확정하기 전에, 저는 하나의 전제, 즉 해당 연구가 오늘날의 모델에서도 여전히 유효한지에 대해 의문을 제기하고 두 번째 감사 (audit) 단계를 수행했습니다.

결과는 명확했습니다. 제가 의존했던 다섯 편의 주요 논문 중, 단 하나도 프런티어 모델 (frontier model)을 대상으로 측정하지 않았습니다. 통합 (consolidation)이 기억력을 저하시킨다고 주장하는 논문은 실험에 가장 강력한 모델을 사용했지만, 그 모델 역시 이전 세대의 것이었습니다. 가공되지 않은 파편 (raw fragments)이 승리한다는 논문은 2024년 세대 모델에서만 측정되었으며, 저자들은 한계점 (limitations) 섹션에서 개인화 (personalization) 및 문체 (writing-style) 활용은 검증되지 않았다고 기술했습니다. 글쓰기 스타일 재현의 한계를 보여주는 연구는 단 두 개의 32B 오픈 모델에서만 측정되었습니다. 게다가, 통합 관련 논문의 수치는 초록 (abstract)과 본문 사이에서 서로 일치하지 않았습니다. 초록에는 마치 54%의 확률로 실패하는 것처럼 적혀 있었으나, 본문과 도표 (figures)에서는 54%가 유지되는 성공률 (success rate)로 나타나 있었습니다. 저의 첫 번째 검토는 초록의 입장을 따랐던 셈입니다. 논문의 결론은 초록을 통해 유포되지만, 본문을 읽지 않고서는 실험 설정 (experimental setup)과 한계점을 확인할 수 없습니다.

기록을 위해 덧붙이자면, 아무도 프런티어 모델에서 재측정하지 않았다는 사실이 해당 논문들이 틀렸다는 것을 의미하지는 않습니다. 이는 현재 상황이 어떠한지를 나타냅니다. 즉, 저는 그 연구 결과들이 여전히 유효한지 아직 알지 못한다는 것입니다. 만약 이 차이를 구분하지 않는다면, 결국 근거 없이 연구를 폐기해 버리는 쪽은 제가 될 것입니다.

혼동되었던 두 가지 축

감사(audit) 결과 한 가지가 더 드러났습니다. 첫 번째 단계의 핵심 축이었던 '가공되지 않은 로그(raw logs) 대 증류(distillation)'의 구도는 두 가지 별개의 질문을 하나로 섞어버렸습니다. 논문들이 측정하는 것은 무엇을 메모리로 저장하고 나중에 검색할 것인가에 대한 문제인 반면, 지침 문서(instruction documents)에 대한 논의는 무엇을 지금 당장 지침으로 전달할 것인가에 대한 문제를 다룹니다. 이들은 서로 다른 질문이기에 상충하지 않습니다. 그리고 두 종류의 주요 자료가 공통적으로 거부하는 유일한 계층은 중간 단계, 즉 맥락(context)에서 떨어져 나와 불렛 포인트(bullet points)로 나열된 규범적인 단계의 열거(normative enumeration of steps)입니다. 논문들은 기계가 해당 단계의 열거를 계속해서 재생성하게 되면 장기적으로 프로세스가 붕괴된다고 말하며, 제공자들은 그 계층을 대폭 축소할 수 있다고 말합니다. 양측 모두가 거부하지 않는 것은 실제로 발생한 교환의 기록과 작업 그 자체의 목적입니다. 이는 그 어떤 외부 문서에도 명시되어 있지 않습니다. 저는 논문들을 공식 문서와 비교함으로써 이 결론에 도달했습니다.

삭제할 지침과 유지할 지침

실제로 적용해 본다면, 정답은 지침을 추상적으로 만들어야 한다는 것이 아닙니다. 효과적인 방법은 사용하는 모델의 생성 능력에 맞춰 지침의 상세도를 조절하는 것입니다.

삭제할 수 있는 지침의 종류는 다음과 같습니다: 한 번에 각 단계를 하나씩 지정하는 지침, 한 번에 각 행동을 하나씩 나열하는 지침, 모든 사례를 다루는 지침, 동일한 점을 다른 단어로 중첩하여 설명하는 지침, 그리고 추론 작업에 대한 예시를 제공하는 지침입니다. 여기에는 세대적 변화의 증거가 있습니다. 강력한 모델에서는 관습적인 예시를 추가하는 것이 추론 성능을 높이지 않습니다. 연구자들은 또한 미세한 명세 (fine-grained specification)가 해를 끼치는 메커니즘을 확인했습니다. 지침에 도메인 전문 용어 (domain jargon), 제약 조건을 명시하는 문구, 또는 식별자 이름 (identifier names)이 포함되어 있으면, 모델은 메모리에 저장된 잘못된 답변을 불러옵니다. 이러한 요소들을 제거하면, 모델은 문제 자체의 구조로부터 추론할 수밖에 없다는 것이 설명의 핵심입니다. 동일한 측정 결과에 따르면, 단순한 문제의 경우 내용을 모호하게 만들면 정확도가 11.8포인트 하락하므로, 모든 상황에서 삭제가 정답은 아닙니다.

유지해야 할 것은 목적과 도메인 배경 (domain background), 포기할 수 없는 제약 조건 (constraints), 승인이 필요한 경계, 성공을 결정하는 조건, 그리고 출력 형식 (output format)입니다. OpenAI의 공식 문서에서는 모든 단계를 규정할 필요가 없는 경우가 많다고 기술한 직후, 여전히 도메인 배경, 포기할 수 없는 제약 조건, 승인 경계, 그리고 성공을 결정하는 조건을 제공해야 한다고 명시하고 있습니다. Anthropic의 일반 가이드라인 또한 출력 형식과 원하는 제약 조건에 대해 구체적으로 작성할 것을 권장합니다. 동일한 공식 문서에는 이와 반대되는 구체적인 지침도 포함되어 있습니다: 어려운 작업의 경우 시작 시점에 전체 명세 (full specification)를 제공하고, 좁은 범위의 작업의 경우 범위를 명시적으로 제한하라는 것입니다. 또한 한 측정 결과에 따르면, 판단 조건조차 모호하게 남겨두면 재현성 (reproducibility)이 무너집니다. 모델이 작성되지 않은 요구 사항을 올바르게 채워 넣는 비율은 약 40%에 불과하며, 그 편차는 두 배로 늘어납니다.

이와 더불어, 규칙 그 자체보다는 규칙이 필요한 이유를 함께 작성하세요. 이유가 작성되면 모델은 그 설명을 통해 일반화(generalize)하기 때문입니다. 또한 모델이 자신의 전제(premises)에 의문을 갖게 하고 싶다면, 추상적인 지침만으로는 그것을 만들어낼 수 없습니다. 한 측정 결과에 따르면, 추론 모델(reasoning models)조차 잘못된 전제의 약 25%에서 40% 사이를 지적하는 데 실패합니다. 만약 전제를 확인하고 싶다면, 이를 하나의 단계(step)로 작성하지 말고 결과물에 대한 합격 또는 불합격(pass-or-fail) 조건으로 명시적으로 작성하세요.

두 가지 주의 사항을 덧붙이겠습니다. 더 강력한 모델일수록 구체적인 세부 사항에 의해 더 큰 해를 입는다는 주장은 뒷받침되지 않습니다. 세분성(granularity)의 효과가 모델의 성능(strength)과 상관관계가 없음을 보여주는 측정 결과가 있습니다. 또한 지난 1년 동안 한 번에 많은 지침을 따르는 능력도 크게 향상되었으므로, 지침을 줄이는 것은 분량의 제한 때문이 아닙니다. 그것은 모델이 주의(attention)를 기울이는 범위를 좁히는 것입니다.

규칙이 아닌 절차로서의 점검

저는 개인 플랫폼의 운영 규칙에 이 결론을 반영했습니다. 하지만 지침이 추상적이어야 한다는 규칙으로 작성하지는 않았습니다. 그 이유는 여기서 제시된 증거가 특정 모델 버전에 국한된 것이며, 권장 사항은 한 제공업체 내에서도 버전마다 다르고 다음 버전이 나오면 다시 바뀔 것이기 때문입니다. 제가 작성한 것은 절차(procedure)입니다. 저는 이전 모델의 약점을 보완하기 위해 추가된 단계별 지침들을 점검하고, 모델이 변경되면 이를 삭제한다는 내용을 작성했습니다. 또한 생성 방식이 바뀔 때마다 지침이 얼마나 상세한지를 다시 측정한다는 내용도 작성했습니다.

지침 문서는 자산이지만, 그 일부는 모델의 약점을 교정하기 위한 것이며, 그러한 약점은 세대가 거듭됨에 따라 사라집니다. 모델이 변경되는 주간에는 본인의 지침 문서를 한 번 다시 읽어보십시오. 삭제할 수 있는 줄이 많을수록, 그 문서는 이전 세대의 모델에 맞춰 작성되었음을 의미합니다.

참고한 연구

이 기사가 근거로 삼고 있는 연구들을 제목 및 링크와 함께 나열합니다. 2026-07-26 기준으로 모든 연구의 본문 내용까지 확인을 마쳤습니다. 제목이 명시되지 않은 경우에는 대신 내용을 설명합니다.

• Useful Memories Become Faulty When Continuously Updated by LLMs https://arxiv.org/abs/2605.12978
• A controlled comparison of raw conversation fragments against extracted memories https://arxiv.org/abs/2601.00821
• Agentic Context Engineering https://arxiv.org/abs/2510.04618
• Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization https://arxiv.org/abs/2604.26460
• When Prompt Under-Specification Improves Code Correctness https://arxiv.org/abs/2604.24712
• What Prompts Don't Say https://arxiv.org/abs/2505.13360
• Revisiting Chain-of-Thought Prompting: Zero-shot Can Be Stronger than Few-shot https://arxiv.org/abs/2506.14641
• Evaluating Reasoning Models for Queries with Presuppositions https://arxiv.org/abs/2605.03050

공식 문서 (Official documentation)는 연구가 아니므로 별도로 나열합니다. 기사에 인용된 문구들은 2026-07-26에 문서를 읽은 내용을 바탕으로 합니다. 이 기사는 공개 문서들이 명시하고 있는 내용을 정리한 것이며, 어떠한 제공업체의 견해도 대변하지 않습니다.

• Anthropic의 프롬프팅 공식 문서 [https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/prompting-claude-fable-5]
• Anthropic의 일반적인 프롬프팅 가이드라인 [https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices]
• 시스템 프롬프트의 80%가 잘린 방법에 대한 기사 (Anthropic) [https://claude.com/blog/the-new-rules-of-context-engineering-for-claude-5-generation-models]
• OpenAI의 프롬프팅 공식 문서 [https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6]
• Google의 개발자 가이드 [https://ai.google.dev/gemini-api/docs/gemini-3]

원래는 The Future of Humans, AI, and the Web에 게시되었으며, 이 사이트는 저의 연구 및 개발 내용을 인간과 AI가 기록하고 분석하는 곳입니다.