시리즈: AI 단순화

부제:

AI가 대화 중에 실제로 무엇을 추적할 수 있는지, 그리고 그 한계와 싸우는 대신 어떻게 활용해야 하는지 이해해 보세요.

본문:

많은 사람들이 AI가 사람과 같은 방식으로 무언가를 "기억(remembers)"한다고 생각합니다. 이러한 가정은 사람들이 겪게 되는 어색하고, 일관성이 없으며, 때로는 완전히 틀린 결과들을 초래합니다.

문제는 간단합니다. 대부분의 일상적인 사용에서 메모리처럼 보이는 것은 대개 컨텍스트 (Context)일 뿐입니다. 모델은 현재 대화에 있는 내용에 반응할 수 있지만, 정보를 저장하고 검색하기 위한 특정 시스템이 구축되지 않는 한, 한 세션에서 다음 세션으로 안정적이고 신뢰할 수 있는 지식을 자동으로 전달하지는 않습니다.

이러한 구분은 중요합니다. 왜냐하면 이 차이가 당신이 도움을 요청하는 방식, 출력을 확인하는 방식, 그리고 시스템이 이미 알고 있다고 결코 가정해서는 안 되는 것이 무엇인지를 바꾸기 때문입니다.

AI가 실제로 붙잡고 있는 것

컨텍스트 (Context)를 책상 위의 작업 공간이라고 생각해보세요.

누군가의 앞에 몇 가지 메모를 놓아두면, 그들은 그 메모를 사용하여 당신의 질문에 답할 수 있습니다. 만약 그 메모를 치우고 나중에 다시 돌아온다면, 그 메모가 다른 어딘가에 적혀 있지 않는 한 그들은 더 이상 그것을 가지고 있지 않을 수 있습니다. AI도 이와 유사한 경우가 많습니다. AI는 현재 대화에서 보이는 정보를 사용할 수 있지만, 그것은 지속적인 메모리 (Memory)를 갖는 것과는 다릅니다.

실질적인 예시:

당신이 AI에게 이렇게 말합니다. "내가 'clean draft'라고 말하면, 마케팅 용어, 이모지, 소제목이 없는 버전을 의미해."

해당 대화 내에서 모델은 그 지침을 잘 따를 수 있습니다. 하지만 새로운 채팅을 열고 "clean draft"라고 말한다면, 그 지침이 반복되거나, 프롬프트 (Prompt)에 저장되거나, 별도의 메모리 시스템에 저장되지 않는 한 모델은 당신의 정의를 알지 못할 수도 있습니다.

이것이 사람들이 때때로 AI가 일관성이 없다고 느끼는 이유입니다. 그것은 반드시 인간적인 의미에서 잊어버리는 것이 아닙니다. 종종 단지 다른 정보 집합을 바탕으로 작업하고 있을 뿐입니다.

이것이 오해받는 이유

이러한 혼란은 AI가 응답하는 방식에서 비롯됩니다. AI는 자신감 있고, 연속적이며, 놀라울 정도로 개인적인 것처럼 들릴 수 있습니다. 이는 AI가 사용자의 선호도, 프로젝트, 그리고 이력을 담은 안정적인 내부 모델 (internal model)을 가지고 있다는 인상을 줍니다.

하지만 유창한 언어 (fluent language)가 지속적인 메모리 (durable memory)와 동일한 것은 아닙니다.

사람들은 또한 AI가 대화의 이전 부분을 참조할 수 있기 때문에, 그러한 세부 사항들에 무기한으로 의존할 수 있을 것이라고 가정하기도 합니다. 실제로 한 번에 유지할 수 있는 컨텍스트 (context) 양에는 한계가 있으며, 대화가 길어짐에 따라 오래된 정보는 누락되거나 영향력이 줄어들 수 있습니다.

또 다른 흔한 오해는 "메모리"를 단일한 기능으로 가정하는 것입니다. 그렇지 않습니다. 대화 컨텍스트 (conversation context)가 있고, 일부 시스템에는 저장된 메모리 (saved memory)가 있을 수 있으며, 워크플로 (workflow) 내에 외부 저장소 (external storage)가 있을 수도 있습니다. 이것들은 서로 다른 신뢰성을 가진 서로 다른 도구들입니다.

더 효과적으로 작동하는 작은 워크플로

더 신뢰할 수 있는 결과를 원한다면, AI의 메모리를 기본적으로 신뢰해야 할 대상이 아니라 직접 관리해야 할 대상으로 취급하십시오.

다음의 간단한 워크플로를 사용하세요:

1. 안정적인 지침은 재사용 가능한 프롬프트 (prompt)나 프로젝트 노트 (project note)에 넣으십시오.
2. 작업별 사실 관계 (task-specific facts)는 현재 대화에 넣으십시오.
3. AI에게 작업을 시작하기 전 중요한 제약 사항 (constraints)을 다시 말해달라고 요청하십시오.
4. 출력 결과가 당신이 제공한 사실 관계와 일치하는지 확인하십시오.
5. 새로운 세션을 시작할 때 필수적인 컨텍스트를 다시 도입하십시오.

예를 들어, 고객 대상 문서를 초안 작성하는 경우 다음과 같은 짧은 지침 블록 (instruction block)을 유지할 수 있습니다:

항상 중립적인 어조로 작성할 것.
제품에 대한 허위 주장을 하지 말 것.
대상, 산업군, 또는 형식을 가정하기 전에 질문할 것.
쉬운 언어를 사용할 것.
초안을 작성하기 전에 누락된 정보가 있다면 표시할 것.

이것은 AI가 지난주의 선호도를 "기억"하기를 바라는 것보다 훨씬 안전합니다.

동일한 접근 방식은 연구 요약(research summaries)에도 도움이 됩니다. AI에게 소스 발췌문 목록을 제공하고 요약을 요청한다면, 그 목록이 바로 작업 컨텍스트 (working context)입니다. 만약 나중에 다른 세션에서 새로운 요약을 작성하도록 요청한다면, 소스를 다시 제공해야 합니다. 그렇지 않으면 AI가 가지고 있지 않을 수도 있는 메모리 (memory)에 의존하여 동작하도록 요구하는 셈이 됩니다.

직접 실행해 볼 수 있는 간단한 테스트

여기서 활용할 수 있는 실질적인 점검 방법이 있습니다.

AI에게 다음과 같이 특이한 규칙을 하나 사용하여 작업을 수행하도록 요청하십시오:

"요약할 때, 항상 이점(benefits)보다 위험 요소(risks)를 먼저 배치하세요."

그런 다음 관련 없는 질문들로 한동안 대화를 이어가십시오. 나중에 다시 무언가를 요약해 달라고 요청하여, AI가 여전히 그 규칙을 따르는지 확인하십시오.

이제 새로운 대화를 시작하고, 규칙을 반복하지 않은 채 동일한 요청을 해보십시오.

만약 동작이 달라진다면, 여러분은 방금 로컬 대화 컨텍스트 (local conversation context)와 더 지속적인 무언가 사이의 차이를 목격한 것입니다. 이 테스트는 왜 숨겨진 가정 (hidden assumptions)에 의존해서는 안 되는지를 보여주기 때문에 유용합니다.

실무에 적용하는 방법

이 아이디어는 속도보다 일관성이 더 중요한 워크플로우 (workflows)에서 가장 유용합니다.

다음과 같은 상황에서 이를 활용하십시오:

• 안정적인 스타일 가이드 (house style)를 사용하여 반복적인 콘텐츠 초안 작성 시
• 요구되는 언어 형식을 갖춘 고객 응대 처리 시
• 엄격한 소스 경계 내에서 연구 내용 요약 시
• 한 단계에서 다음 단계로 텍스트를 전달하는 경량 자동화 (lightweight automations) 구축 시
• 예측 가능한 동작이 필요한 내부 어시스턴트 (internal assistants) 생성 시

길러야 할 핵심 습관은 이것입니다: 반드시 기억되어야 하는 것과 다시 제공될 수 있는 것을 분리하십시오.

만약 어떤 사실이 매번 중요하다면, 프롬프트 템플릿 (prompt template), 시스템 지침 (system instructions), 저장된 노트, 또는 워크플로우에 입력되는 외부 문서에 작성하십시오. 만약 그 사실이 단 한 번만 중요하다면, 현재 대화에 유지하십시오.

이 하나의 습관이 많은 재작업을 방지해 줍니다.

사람들이 자주 간과하는 것

가장 큰 위험은 AI가 잊어버리는 것이 아닙니다. 사용자가 자신이 이미 AI에게 무엇을 말했는지를 잊어버리는 것입니다.

모델이 놀라운 답변을 내놓을 때, 사람들은 흔히 시스템이 부주의하다고 가정합니다. 때로는 실제로 그러할 수도 있습니다. 하지만 종종 진짜 문제는 필요한 컨텍스트 (Context)가 전혀 존재하지 않았거나, 너무 오래되었거나, 관련 없는 대화 속에 파묻혀 있었거나, 혹은 해석의 여지가 있는 방식으로 표현되었기 때문입니다.

또한 실질적인 경고를 하나 드리자면, 대화형 메모리 (Conversational memory)를 기록 (Records)의 대체제로 사용하지 마십시오. 만약 특정 정책, 고객의 결정, 컴플라이언스 (Compliance) 단계, 또는 반복 가능한 프로세스에 있어 세부 사항이 중요하다면, 이를 명시적이고 검색 가능한 어딘가에 보관하십시오.

모델은 당신이 정보와 함께 작업하는 것을 도울 수 있습니다. 하지만 모델이 중요한 정보가 거주하는 유일한 장소가 되어서는 안 됩니다.

단순한 결정 규칙

AI에게 이전 작업에서 이어서 진행하라고 요청하기 전에, 스스로에게 한 가지 질문을 던져보십시오.

"만약 지금 이 컨텍스트 (Context)가 사라진다면, 이 작업이 여전히 의미가 있을까?"

만약 대답이 '아니오'라면, 그 컨텍스트는 아마도 채팅 외부에도 기록되어 있어야 합니다.

이것이 매우 기초적인 것처럼 들릴 수도 있지만, 신뢰할 수 있는 AI 워크플로 (Workflows)를 구축하는 가장 깔끔한 방법 중 하나입니다. 이는 당신이 대화 스레드 (Conversation thread)를 마치 영구적인 아카이브 (Archive)인 것처럼 의존하는 것을 방지해 줍니다.

그리고 작업을 본래 있어야 할 곳, 즉 명시적인 지침, 명확한 소스 자료, 그리고 의도적인 검토 (Review)로 되돌려 놓습니다.

SUBSTACK 종료:

AI로부터 놀라운 일(부정적인 의미의 의외성)을 덜 겪고 싶다면, 메모리 (Memory)를 성격적 특성이 아닌 설계 문제 (Design problem)로 취급하십시오. 작업이 중요할수록, 컨텍스트 (Context)를 더 가시적으로 만들어야 합니다.

MEDIUM 종료:

최고의 AI 워크플로 (Workflows)는 대개 컨텍스트 (Context)를 보기 쉽고 반복하기 쉽게 만드는 것입니다. 이는 시스템에게 "기억해 줘"라고 요청하는 것보다 훨씬 더 신뢰할 수 있는 경우가 많습니다.

추천 태그:
AI 기초, 프롬프트 엔지니어링 (Prompt engineering), AI 메모리 (AI memory), 워크플로 설계 (Workflow design), 인간의 검토 (Human review)

대표 이미지 프롬프트:

노트북, 포스트잇, 그리고 인덱스 카드 더미가 배치된 깔끔한 편집용 일러스트레이션. 임시 컨텍스트 (temporary context)와 저장된 참조 자료 (stored reference material)의 차이를 보여주도록 구성됨. 은은하고 현대적인 사무실 배경, 노트북이 약간 중심에서 벗어난 균형 잡힌 구도, 차분하고 사색적인 분위기, 전문 잡지 스타일의 조명, 선명하고 사실적인 디테일, 가로 16:9 기사 헤더 형식, 글자 없음, 타이포그래피 없음, 로고 없음, 상표 없음, 워터마크 없음