자동화는 했지만, 자율화는 시키지 않은 경험: 승인 게이트를 단 한 곳에 남긴 이야기

서론

수업 노트 생성을 자동화하고 있습니다.

정해진 시간에 PC가 켜지고, 음성을 텍스트로 변환하며, Markdown을 정리하는 과정까지는 사람의 조작이 필요 없습니다.

'완전 자동이네요'라는 말을 들으면, 조금 수정하고 싶어집니다.

자동으로 움직이고는 있지만, AI가 판단하여 다음 단계로 나아갈 곳은 단 한 군데도 없기 때문입니다.

만들 때부터 그 부분은 의식적으로 분리해 두었습니다.

자동화와 자율화를 말의 단계에서 구분하다

저는 이 두 가지를 별개의 것으로 취급합니다.

자동화는 사고가 필요 없는 처리 과정입니다.

절차가 정해져 있고, 같은 입력에 대해서는 같은 결과가 나오는 것입니다. 텍스트 변환 실행이나 파일 배치 등이 여기에 속합니다.

자율화는 판단을 수반하는 행동입니다.

이것은 '무엇을 채택할지', '이것은 불필요한지'를 AI가 결정하고, 그 결과로 다음 공정이 진행되는 형태입니다.

제 시스템에는 후자가 없습니다.

언어를 나눈 것은 경계가 모호한 상태로 만들면 자율화 쪽으로 흘러갈 것이라고 생각했기 때문입니다.

편리하게 하려고 하다 보면, 판단할 때마다 넘겨주는 편이 수고를 덜게 됩니다. 여기에 제동을 걸어야 했습니다.

게이트를 남긴 곳은 단 한 군데뿐이다

승인(Approval)을 거치는 지점은 정리된 노트가 생성된 직후입니다.

그렇게 설정한 이유는 간단합니다. 그곳이 오류가 시작되는 첫 번째 지점이기 때문입니다.

텍스트 변환 단계에서는 틀려도 자료만 더러워질 뿐입니다. 원본 음성은 남아있기 때문에 다시 할 수 있습니다.

정리된 노트는 다릅니다. 이곳부터는 제가 읽고 배우게 되는 것이며, 별도의 리포지토리(repository)에 공개 부분만 동기화하는 대상이 됩니다.

즉, 이곳을 통과해 버리면 오류가 '올바른 노트'로 취급되기 시작합니다.

반대로 말하면, 게이트가 많다고 좋은 것은 아니라고 생각합니다.

모든 공정에 승인을 거치게 하면, 자동화 자체가 무의미해집니다.

자동으로 움직이는 구간을 길게 가져가고, 출구 단 한 곳에서만 사람이 확인하는 것이 현재 형태입니다.

결과물은 바로 본체에 들어가지 않는다

승인 구현은 그렇게 복잡한 것이 아닙니다.

생성된 결과는 PR(Pull Request) 형태로 도착합니다.

제가 하는 일은 내용을 읽고 병합할지 말지를 판단하는 것입니다.

이런 형태를 만든 이유는, 승인을 생략할 수 없도록 하고 싶었기 때문입니다.

스스로 '나중에 확인해야지'라고 생각하면, 대부분 확인하지 않습니다. 원했던 것은 병합이라는 절차를 거치지 않으면 본체에 들어가지 않는 구조였습니다.

귀찮지 않은 방향이 아니라, 귀찮음이 단 한 번 남는 방향으로 기울였다는 느낌입니다.

사람에게 남겨둔 것들

그렇다면 무엇을 넘기지 않았을까요?

'이해와 판단'. 그리고 '절차를 생각하여 AI가 실행하도록 하는 역할 분담'입니다.

이 세 가지는 제 쪽에 두고 있습니다.

정리된 노트를 읽고 내용을 이해하는 것은 제 일입니다. AI의 담당은 읽을 수 있는 형태로 만드는 공정입니다.

판단이라는 것은, 예를 들어 '이 여담은 남길지', '이 보충 설명은 틀리지 않았는지'와 같습니다. 이곳을 넘겨주면, 오류를 발견할 사람이 사라집니다.

세 번째는 조금 설명을 해야 할 수도 있습니다. 절차를 생각하는 것은 제가 하고, AI에게 시키는 것은 생각해 둔 절차의 실행이라는 구분입니다.

이것을 반대로 하면 확실히 편해지긴 합니다. 다만, 나온 것이 올바른지 아닌지를 판단할 발판이 제 쪽에 남아있지 않습니다.

엄밀히 말하면, AI에게 전혀 판단을 맡기지 않은 것은 아닙니다.

불필요해 보이는 정보를 걸러내는 일차적인 분류는, 조건을 미리 정한 후에 AI에게 시키고 있습니다.

그때 전달하는 메시지는 '헷갈리면 불필요하다고 치우지 말아 달라'는 것입니다. 너무 많이 떨어져 나간 부분은 제가 지적하고, 다음부터 정확도를 높이는 방식으로 진행합니다.

자율화시키고 싶은 순간도 있다

솔직히 말하면, 넘겨주고 싶어지는 장면이 있습니다.

내용에 문제가 거의 없다는 것을 알고 있는 경우에도, PR을 열어서 읽는 수고는 똑같이 걸립니다.

'90%는 문제없으니, AI가 스스로 병합해도 좋지 않을까'라고 생각한 적이 몇 번 있었습니다.

그럼에도 남겨둔 것은, 문제가 발생하는 것이 나머지 10%에 불과하며, 게다가 그 10%는 사전에 구별할 수 없기 때문입니다.

구별할 수 있다면, 그 판정 자체가 자동화의 대상이 됩니다. 아직 되어 있지 않기 때문에 사람이 보고 있다는 순서라고 생각합니다.

이 경계가 약한 부분

약점은 자각하고 있습니다.

사람이 보고 있을 뿐이며, 보는 것의 품질은 보장되지 않습니다.

대충 훑어보고 병합한다면, 게이트는 형식에 그칩니다.

제 경우에는 수업 내용을 대략 기억하고 있기 때문에 이상하면 알아챌 수 있을 것입니다. 다만 이것은 주관적인 전제이며, 시간이 지나면 효력이 없어지는 것입니다.

정리 전과 정리 후를 기계적으로 비교하여 의미의 변질을 감지하는 시스템도 생각해 봤습니다. 아직 만들지는 않았습니다.

만든다면 그곳이 진입점이 될 것이라는 추측만 남겨두고, 지금은 사람의 눈에 의존하고 있는 상태입니다.

여기는 약한 상태로 운용하고 있다고 적는 것이 더 정확하다고 생각합니다.

요약

• 자동화(생각이 필요 없는 처리)와 자율화(판단하여 행동)를 언어적인 단계에서 구분했다.
• 승인 게이트는 한 곳에만 두었다. 정형 노트 생성 직후, 오류가 하류로 흐르기 시작하는 지점에 배치했다.
• AI에게 넘기지 않는 것은 이해, 판단, 절차의 설계 3가지이다.

자동으로 움직이는 구간은 길게 해도 괜찮다고 생각합니다.

다만, 그 출구에는 인간을 그대로 두고 싶습니다.

비슷한 구조를 만드는 사람은 자신의 파이프라인에서 오류가 '올바른 것'으로 바뀌는 지점이 어디인지 한 번 찾아보세요. 자동화는 하되 자율화는 시키지 않는다. 승인 게이트는 반드시 인간에게 남긴다, 이것이 저의 결론입니다.

논의