몇 주 전, 인공지능을 이용해 프레젠테이션을 디자인하는 시스템을 개발하던 중, 처음에는 크게 신경 쓸 필요가 없어 보이는 문제가 발생했습니다.
한 AI 발표 도구가 슬라이드에 짧은 설명 섹션을 추가했습니다. 이 추가된 내용은 일관성이 있었고, 시각적으로 적절했으며, 전반적인 주제와도 부합했습니다. 평소의 상황이었다면 개선점으로 여겨졌을 것입니다.
하지만 저는 그것을 요청한 적이 없었습니다.
해당 발표 자료는 주 4일 근무제 도입 가능성에 관한 것이었습니다. 목적은 탐색적이었으며, 경영진이 고려해야 할 질문들을 정리하는 것이었지, 어떤 결정을 권고하거나 근거 없는 결론을 제시하려는 것이 아니었습니다. 추가된 섹션은 이전 디자인 과정에서 승인되지 않은 해석을 담고 있었습니다.
문제는 그 문장이 합리적으로 들리는지 여부가 아니었습니다. 그 도구가 그것을 도입할 권한이 있었는지의 문제였습니다.
개발이 계속되면서 이 구분이 점점 더 중요해졌습니다.
우리는 종종 AI가 생성한 발표 자료를 최종 슬라이드를 검토함으로써 평가합니다. 매력적인가? 정보가 체계적으로 정리되어 있는가? 서사가 일관성 있게 보이는가? 하지만 이러한 질문들은 생성 과정에서 내려진 결정에 대해서는 상대적으로 거의 알려주지 못합니다.
발표 자료는 작성자가 의도하지 않은 해석, 우선순위 또는 가정을 담고 있으면서도 전문적으로 디자인된 것처럼 보일 수 있습니다.
저는 어려움의 원인이 주로 프롬프트를 개선하는 문제에 있는 것이 아니라고 생각하기 시작했습니다. 그것은 프로세스 자체의 아키텍처와 관련되어 있었습니다.
생성과 의사결정을 하나의 작업으로 허용할 때 발생하는 문제
누군가 AI 도구에게 발표 자료를 준비해 달라고 요청할 때, 지침은 보통 불완전합니다. 주제, 청중, 목표 및 선호하는 스타일을 지정할 수는 있지만, 최종 슬라이드를 제작하는 데 필요한 모든 결정을 명시적으로 규정하지는 않습니다.
따라서 시스템은 선택을 해야만 합니다.
이는 어떤 주제가 별도의 슬라이드를 받을 자격이 있는지, 정보를 어떻게 그룹화해야 하는지, 어떤 진술을 강조해야 하는지, 다이어그램이 텍스트보다 더 적절한지 여부, 그리고 시각적 배치가 청중의 주의를 어떻게 이끌어야 하는지를 결정합니다.
이러한 결정 중 일부는 구현에 필수적입니다. 하지만 다른 결정들은 자료의 의미 자체를 바꿀 수도 있습니다.
저는 바로 여기에 중요한 경계가 존재한다고 생각합니다.
텍스트 블록의 위치를 선택하는 것이 새로운 주장을 도입하는 것과 동일하지 않습니다. 간격을 조정하는 것이 결론의 중요도를 바꾸는 것과 동일하지도 않습니다. 시각적 표현을 선택하는 것은 그 표현이 확실성, 인과관계 또는 비교를 암시할 수 있을 때 반드시 중립적인 작업은 아닙니다.
만약 우리가 이러한 모든 행동들을 평범한 디자인 결정으로 취급한다면, 시스템이 사용자의 의도를 실행하는 단계에서 그것을 사용자 대신 해석하는 단계로 넘어가는 지점을 간과할 수 있습니다.
이러한 구분은 특히 전문적인 발표 자료에서 중요합니다. 청중은 시각적 강조를 증거의 강도나 조직적 우선순위를 나타내는 지표로 해석할 수 있기 때문입니다.
세련된 슬라이드는 불확실한 진술을 확정된 것처럼 보이게 만들 수 있습니다.
그렇다면 질문은 AI가 결정을 내리는 것을 아예 막는 방법이 아닙니다. 그렇게 한다면 생성적 디자인(generative design) 자체가 비현실적이 될 것입니다. 문제는 시스템이 독립적으로 내릴 수 있는 결정과 명시적인 승인이 필요한 결정을 어떻게 구별하느냐입니다.
의사결정 경계를 중심으로 하는 시스템 설계
이러한 질문은 AI Presentation Designer — Professional의 개발 방향을 설정했습니다.
이 프로젝트는 구조화된 지침을 통해 AI 지원 발표 디자인을 개선하려는 시도로 시작되었습니다. 그러나 개발이 진행되면서, 이 작업은 점차 다양한 디자인 책임들 간의 관계에 초점을 맞추게 되었습니다.
저는 발표 자료의 구조, 정보 계층(information hierarchy), 레이아웃, 시각적 에셋(visual assets), 그리고 최종 구성이 독립적인 활동으로 취급될 수 없다는 것을 발견했습니다.
구조의 변화는 논지에 영향을 미칠 수 있다. 계층 구조의 변화는 청중의 해석을 바꿀 수 있으며, 시각적 자산(visual asset)은 원본 자료에 없던 의미를 도입할 수도 있다.
따라서 과제는 어느 한쪽이 다른 쪽의 권한을 가정하지 않으면서 이러한 책임들을 조정하는 것이었다.
이 시스템은 기존 소프트웨어 애플리케이션이라기보다는 협업적인 프롬프트 기반 아키텍처(prompt-based architecture)로 개발되었다. 그 구성 요소들은 구조화된 지침을 통해 구현되었으며, 각 지침은 발표 디자인 과정 내에서 특정 책임을 부여받는다. 이 지침들은 슬라이드를 생성하기 위한 고립된 요청으로 작동하지 않는다. 대신, 한 단계의 출력이 다른 단계에 통제된 입력(controlled input)이 되는 연결된 워크플로우를 형성한다.
이 접근 방식이 단순한 프롬프트 순서와 구별되는 점은 의사 결정 권한(decision authority)에 대한 주의와 승인된 요구사항의 보존에 초점을 맞춘다는 것이다. 각 단계는 할당된 책임 내에서 작동해야 하며, 후속 단계들은 이전 결정을 암묵적으로 재해석해서는 안 된다. 이러한 경계는 결정론적 소프트웨어 엔진(deterministic software engine)에 의해 강제되기보다는 지침 시스템을 통해 표현되고 검토를 통해 확인된다.
그 결과로 만들어진 아키텍처는 실행 워크플로우와 검토 단계를 지원받아 디자인 프로세스를 11개의 전문 모듈(specialized modules)로 구성한다.
이 모듈들은 11개의 관련 없는 프롬프트처럼 작동하도록 의도된 것이 아니다. 그 가치는 모듈들 사이에 설정된 경계와 한 단계에서 다음 단계로 전달되는 결정에 있다.
예를 들어, 슬라이드 구조를 담당하는 구성 요소는 승인된 정보를 정리할 수 있지만, 선호되는 슬라이드 수를 달성하기 위해 추가 콘텐츠를 만들어내서는 안 된다. 마찬가지로, 레이아웃을 담당하는 구성 요소는 콘텐츠가 어떻게 제시될지 결정할 수 있지만, 익숙한 디자인 패턴을 특정 결론이 발표 자료에 포함되어야 한다는 증거로 취급해서는 안 된다.
이러한 구분은 제한적으로 보일 수 있습니다. 하지만 실제로는 생성 워크플로우(generative workflows)에서 반복되는 문제를 다루는 것입니다. 즉, 아무도 명시적으로 승인하지 않았음에도 불구하고 구현 선택 사항이 점차 암묵적인 요구사항으로 변질되는 문제입니다.
불완전한 정보가 불완전하게 유지되어야 하는 이유
개발 과정에서 가장 흥미로운 문제 중 하나는 누락된 정보였습니다.
생성 모델(Generative models)은 일관성 있는 텍스트를 생성하는 데 특히 효과적입니다. 정보가 불완전할 때, 이들은 종종 그럴듯한 연속성을 구성해낼 수 있습니다.
어떤 창의적인 맥락에서는 이것이 바람직합니다. 하지만 전문적인 의사결정 맥락에서는 우리가 정확히 방지해야 할 것일 수 있습니다.
4일 근무제(four-day workweek)를 평가하는 발표 자료를 고려해 봅시다.
만약 조직이 생산성 측정치(productivity measurements)를 제공하지 않았다면, 그 발표 자료는 생산성을 관련 고려 사항으로 식별할 수는 있습니다. 하지만 생산성이 향상되거나, 감소하거나, 변함없을 것이라고 정당하게 보고할 수는 없습니다.
증거의 부재가 논리를 완성할 권한을 의미하는 것은 아닙니다.
이 원칙은 디자인에도 동일하게 적용됩니다.
차트는 시각적으로 매력적일 수 있지만, 그 존재 자체가 측정 가능한 증거가 있다는 것을 암시할 수 있습니다. 눈에 띄는 결론 문구는 원래 목적이 단순히 대안을 탐색하는 것이었음에도 불구하고 분석이 권고 사항에 도달했음을 암시할 수 있습니다.
개발 과정에서 이는 더 광범위한 요구사항으로 이어졌습니다. 즉, 불확실성은 텍스트뿐만 아니라 정보가 구조화되고 표시되는 방식에서도 보존되어야 한다는 것입니다.
숫자를 지어내지 않으면서도 해결되지 않은 질문들을 확립된 발견처럼 시각적으로 제시하는 시스템은 그 출처 자료의 의미를 완전히 보존하지 못한 것입니다.
엔드투엔드 테스트가 밝혀낸 것
워크플로우를 검토하기 위해, 저는 4일 근무제에 관한 탐색적 경영 발표 자료를 사용했습니다.
초기 브리프(brief)는 목적과 청중을 명시했지만, 조직의 생산성 데이터나 고객 커버리지 측정치(customer-coverage measurements)는 제공하지 않았습니다.
디자인 과정은 구조, 시각적 언어(visual language), 레이아웃, 정보 계층 구조(information hierarchy) 및 기타 발표 자료 요소를 결정하는 일련의 과정을 거쳤습니다. 이러한 결정들은 이후 AI 프레젠테이션 도구를 통해 구현을 안내하는 데 사용되었습니다.
이 테스트를 통해 두 가지 유용한 문제가 드러났습니다.
첫 번째 문제는 구조 개발 단계에서 발생했습니다. 약 8장의 슬라이드라는 대략적인 목표가 예상되는 분량을 충족시키기 위해 존재하는 자료까지 포함하여 불필요한 확장을 부추겼습니다.
이는 수치적 선호와 발표 자료의 실제 정보 요건 사이의 상충 관계를 드러냈습니다.
워크플로우는 수정되어, 대략적인 슬라이드 수가 콘텐츠를 만들어내야 하는 요구사항으로 취급되지 않도록 했습니다. 최종 구조물은 6장의 실질적인 슬라이드로 구성되었습니다.
두 번째 문제는 구현 후에 발생했습니다.
프레젠테이션 도구는 “시작점(Starting Point)”이라는 레이블이 붙은 추가 설명 자료를 도입했습니다. 그 내용은 개연성이 있었지만, 이전의 디자인 결정에 의해 승인된 것은 아니었습니다.
검토 과정에서 이 편차가 식별되었고, 프레젠테이션은 수정되었습니다.
흥미로웠던 점은 추가된 자료가 명백한 오류처럼 보이지 않았다는 것입니다. 오히려 발표 자료를 개선하는 것처럼 보였습니다.
만약 검토가 시각적 품질이나 서사적 일관성(narrative coherence)에만 초점을 맞췄다면, 이 편차는 눈에 띄지 않을 수도 있었습니다.
이 테스트는 아키텍처 개발 시나리오로 제한되었습니다. 여러 프레젠테이션 시스템을 비교하는 통제된 연구가 아니므로 일반적인 성능 우위를 확립할 수는 없습니다.
그 가치는 더 구체적이었습니다. 즉, 결정 경계(decision boundaries)가 실패할 수 있는 지점을 노출시키고 그에 따라 워크플로우를 수정할 수 있게 해주었다는 점입니다.
실행과 검증을 분리하는 것의 중요성
추가적인 아키텍처적 결정은 프레젠테이션 생성 도구 자체의 역할에 관한 것이었습니다.
시스템이 단일한 발표 플랫폼에 전적으로 의존하는 것을 원하지 않았으며, 호스트 도구의 기존 선호도가 발표 자료의 의미를 결정하도록 하고 싶지도 않았다.
이 아키텍처는 자율적인 AI 에이전트로 개발되지 않았으며, 특정 발표 플랫폼에 연결된 소프트웨어 엔진으로 구현되지도 않았다. 대신, 호환 가능한 AI 모델들이 정의된 일련의 디자인 책임(design responsibilities)을 거치도록 안내할 수 있는 구조화된 프롬프트들의 협력 시스템으로 설계되었다.
개발 과정에서, 의사결정 중심 단계(decision-oriented stages)를 처리하는 데는 ChatGPT가 사용되었고, 결과로 나온 발표 자료를 구현하는 데에는 Gamma가 사용되었다. 이러한 배치는 의사결정 워크플로우와 발표 자료 생성 도구를 별개의 구성 요소로 검토할 수 있게 했다.
비록 이 아키텍처가 호환 가능한 모델 및 도구 전반에 걸쳐 적응 가능하도록 의도되었지만, 더 광범위한 상호 운용성(interoperability)은 추가 테스트의 대상이다.
이러한 분리가 호스트 도구가 수동적(passive)이 된다는 것을 의미하지는 않는다. 이 도구는 여전히 슬라이드 렌더링, 요소 배치, 발표 자료 아티팩트(artifact) 생성 등 필수적인 작업을 수행한다.
그러나 구현 자체가 승인된 요구 사항을 변경할 권한을 자동으로 부여해서는 안 된다.
결과로 나온 발표 자료 역시 그 자체로 하나의 아티팩트(artifact)로서 검토되어야 한다.
올바른 지침이 그것이 올바르게 구현되었음을 증명하지는 않는다.
이것이 바로 워크플로우에 실행 후 검증(verification) 단계가 포함되는 이유이다. 이 검토는 슬라이드가 일관되게 보이는지 여부뿐만 아니라, 그 내용, 계층 구조(hierarchy), 구성(composition)이 이전에 확립된 결정에 충실한지를 확인하는 데 중점을 둔다.
발표 자료가 내부적으로 일관성을 갖추더라도 원래의 개요(brief)에서 벗어날 가능성이 있다.
이러한 가능성 때문에 검증은 최종적인 미용 점검(cosmetic inspection)이라기보다는 별도의 엔지니어링 책임이 된다.
발표 자료 디자인을 넘어 확장되는 질문
나는 이 아키텍처가 생성형 AI(generative AI) 제어라는 더 광범위한 문제에 대한 완전한 해결책이라고 생각하지 않는다.
현재 구현체는 특정 프레젠테이션 디자인 워크플로우(presentation-design workflow) 내에서 개발되고 검토되었습니다. 더 광범위한 주장을 하려면 작업(tasks), 도구(tools), 사용자 전반에 걸친 추가 테스트가 필요합니다.
그럼에도 불구하고, 이 개발 과정은 프레젠테이션을 넘어 확장되는 질문을 제기했습니다.
생성 시스템(generative systems)이 점점 더 완성도 높은 아티팩트(artifacts)를 생성할 수 있게 되면서, 사용자가 의도한 것, 시스템이 추론한 것, 그리고 시스템이 실제로 구현한 것 사이의 구분을 어떻게 유지해야 할까요?
이 질문은 AI가 기계적 실행(mechanical execution)보다는 해석(interpretation)을 수반하는 작업에 위임되는 모든 곳에서 관련성이 있습니다.
더 큰 생성 능력(generative capability)이 명시적인 디자인 결정(explicit design decisions)의 필요성을 줄일 것이라고 가정하기 쉽습니다. 하지만 이 프로젝트를 진행하면서 얻은 제 경험은 다른 가능성을 시사합니다. 시스템이 독립적으로 수행할 수 있는 작업이 많을수록, 그 독립성의 경계를 이해하는 것이 더욱 중요해진다는 것입니다.