*운영 업무(Operational work)에서 글쓰기는 단순히 글을 쓰는 것만으로 끝나지 않는 경우가 많습니다.
*
우리는 매일 수천 개의 계정을 처리하며, 여러 상담사(agents)가 방대한 도구 세트를 활용합니다. 단 하나의 계정을 처리하더라도 상담사는 승인된 사전 정의된 콘텐츠(pre-defined content)를 찾아내고, 소비자에 맞춰 내용을 추가하거나 삭제하며, 문법을 교정하고, 공감(empathy)을 더하는 등 여러 가지 작업을 수행해야 합니다.

각각의 단계는 개별적으로 보면 단순합니다. 하지만 하루 동안 여러 계정에 걸쳐 이 작업들을 반복하다 보면, 매 반복마다 마찰과 좌절을 유발하는 디지털 보물찾기(digital scavenger hunt)가 되어버립니다.

우리 부서에 Microsoft CoPilot 접근 권한이 부여되면서, 저는 이러한 좌절감을 줄이는 방법으로 이를 실험하기 시작했습니다. CoPilot에게 이러한 시나리오에 대한 결정을 내리라고 요구하는 것이 아니라, 통제된 텍스트 변환 도구(controlled-text transformation tool)로서 활용하는 방식입니다.

문제점: 훌륭한 콘텐츠, 너무 많은 단계

제 직장에는 이미 다양한 상황에 맞는 콘텐츠가 준비되어 있습니다. 하지만 의료 분야에서 배우게 되는 점 중 하나는 결코 배움을 멈출 수 없다는 것이며, 우리의 사전 정의된 콘텐츠 또한 특정 문제에 대한 모든 정보를 한곳에 담고 있지 않다는 점에서 그 사실을 뒷받침합니다. 그럼에도 불구하고 이러한 유형의 콘텐츠의 목표는 두 가지입니다. 회사를 위한 일관된 언어를 만들고, 직원들이 서로 명확한 방식으로 소통할 수 있도록 돕는 것입니다.

전통적인 프로세스는 다음과 같습니다:

1. 첫 번째 사전 정의된 콘텐츠를 찾습니다.
2. 복사하거나 삽입합니다.
3. 두 번째 콘텐츠를 찾습니다.
4. 첫 번째 콘텐츠에 추가합니다.
5. 중복된 표현을 제거합니다.
6. 정보를 재배치합니다.
7. 문법과 서식을 교정합니다.
8. 최종 응답이 자연스럽게 읽히도록 일부를 다시 작성합니다.
9. 완성된 텍스트에 불필요한 개인 정보가 있는지 검토합니다.

단 하나의 응답을 만들기 위해서만 해도, 응집력 있는 메시지를 형성하기 위해 여러 번 클릭하고 수동으로 편집해야 한다는 것을 알 수 있습니다.

이 시나리오에서 병목 현상(bottle neck)은 콘텐츠가 아닙니다. 문제는 조립(assembly) 과정에 있습니다.

나의 해결책: 안전 계층으로서의 마스터 프롬프트 (Master Prompt)

단순히 Copilot을 중간 매개체(middleman)로 사용하는 것 또한 실행 불가능한 일입니다. 이 모든 정보를 Copilot에 복사하여 붙여넣고 필요한 형태로 조립하는 과정은 프로세스에 불필요한 단계만을 추가할 뿐입니다.

이를 해결하기 위해, 저는 DocX 형식의 이른바 "MasterFile"을 작성했습니다. 본질적으로 이것은 Copilot이 파싱(parse)할 수 있는 대규모 프롬프트(prompt)입니다.

이 MasterFile과 결합하여, Copilot이 구축할 수 있도록 허용하는 커스텀 에이전트(custom agent)를 사용합니다. 이 두 가지 도구를 사용함으로써, 저는 최신 MasterFile이 삽입되지 않으면 작동하지 않으며, 출력(output)을 처리하는 방식에 대한 프로토콜(protocol)과 경계(boundaries)를 설정하는 단일 채팅 에이전트를 만들 수 있습니다.

예를 들어, 커스텀 에이전트는 채팅에 이름, 위치 또는 전화번호와 같은 정보가 입력될 경우, 이를 처리하는 대신 응답을 생성하지 않도록 요청받습니다. 또 다른 예로, 에이전트에 MasterFile 버전을 저장해 두어, 사용자가 MasterFile을 업로드했을 때 그것이 최신 파일이 아니거나 사용하기에 너무 오래된 파일임을 안내할 수 있도록 합니다.

그렇다면, 이것이 실제로 하는 역할은 무엇일까요?

핵심적으로, 에이전트는 승인된 콘텐츠를 더 빠르고 쉽게 사용할 수 있게 해줍니다.

여러 메뉴를 열고, 미리 정의된 여러 콘텐츠 조각을 찾아, 이를 함께 복사하여 붙여넣는 대신, 직원은 단순히 다음과 같이 입력할 수 있습니다:

"______ pdc 제공해줘."

그러면 에이전트가 관련 있는 미리 정의된 콘텐츠를 모두 모아 하나의 응답으로 제시합니다.

어떤 경우에는 네 번의 클릭과 세 번의 별도 복사 및 붙여넣기 작업이 필요했던 프로세스를 단 한 번의 타이핑 요청으로 줄일 수 있었습니다. 단일 계정에서는 큰 차이가 없는 것처럼 들릴지 모르지만, 동일한 프로세스가 하루 종일 반복될 때 절약된 단계들은 빠르게 쌓이기 시작합니다.

에이전트가 도와주는 또 다른 문제는 대문자 사용(capitalization)과 문법(grammar)입니다.

채팅 환경에서 에이전트(agent)는 종종 전체가 대문자로 작성된 내부 정보(internal information)를 바탕으로 작업합니다. 그 내용은 정확할 수 있지만, 소비자에게 직접 전달할 준비가 항상 되어 있는 것은 아닙니다. 이를 수동으로 다시 쓰는 것은 추가적인 시간이 소요되며, 직원들 사이에서 일관되지 않은 문구(wording)를 초래할 수도 있습니다.

에이전트를 사용하여 직원은 단순히 다음과 같이 입력할 수 있습니다:

다시 쓰기 (Rewrite):

그런 다음 그 아래에 문장이나 단락을 붙여넣을 수 있습니다. 에이전트는 모든 글자가 대문자인 내부 언어를 문법적으로 정확하고, 읽기 쉬우며, 소비자 대상 대화에 더 적합한 형태로 변환합니다.

직원은 여전히 응답을 사용하기 전에 검토합니다. 에이전트는 대화에 어떤 정보가 포함되어야 하는지를 결정하지 않으며, 계정에 관한 결정을 내리지도 않습니다. 에이전트는 직원이 이미 선택한 콘텐츠를 가져와 이를 더 깔끔한 응답으로 바꾸는 것을 도울 뿐입니다.

저는 직원을 대체하거나 전체 상호작용을 자동화하는 무언가를 만들려고 했던 것이 아닙니다. 직원이 문제를 이해하고 소비자를 돕는 과정 사이에서 속도를 늦추는 반복적인 클릭, 복사, 붙여넣기, 재배열, 그리고 다시 쓰기 작업을 일부 제거하고 싶었습니다.

사전에 정의된 콘텐츠(predefined content)는 여전히 승인된 정보를 제공합니다. 판단은 여전히 직원이 내립니다. 에이전트는 단순히 그 둘 사이의 간극을 메우는 것을 도울 뿐입니다.

결론: 몇 번의 클릭이 생각보다 더 중요합니다

이 프로젝트는 단순한 질문에서 시작되었습니다: 만약 직원들이 하루 종일 똑같은 클릭과 복사 및 붙여넣기를 반복하고 있다면, 동일한 결과에 도달하는 더 나은 방법이 있을까?

목표는 결코 Copilot이 직원의 업무를 대신하게 하는 것이 아니었습니다. 직원은 여전히 올바른 정보를 선택하고, 프롬프트(prompt)에서 개인 정보를 제외하며, 최종 응답을 검토합니다. 에이전트는 이러한 단계들 사이의 반복적인 작업을 처리합니다.

절약된 클릭 한 번은 별것 아닌 것처럼 보일 수 있습니다. 절약된 복사 및 붙여넣기 한 번도 마찬가지입니다. 하지만 여러 계정과 여러 직원에 걸쳐 반복되면, 이러한 작은 개선들이 중요해지기 시작합니다.

MasterFile과 에이전트(agent)는 여전히 개발 중입니다. 이것은 거대한 AI 전환(AI transformation) 프로젝트를 의도한 것이 아니었습니다. 저는 답답한 프로세스를 발견했고, 실험을 시작했으며, 이를 더 쉽게 만드는 방법을 찾아냈습니다.

그 점이 저를 궁금하게 만듭니다. 여러분의 업무 중 단독으로는 작아 보이지만, 하루 종일 큰 마찰(friction)의 원인이 되는 반복적인 프로세스는 무엇인가요? Copilot, 다른 AI 도구, 혹은 간단한 자동화(automation)를 통해 이를 개선할 방법을 찾으셨나요?