AI가 항상 잊어버리는 한 가지 블록

AI에게 기능을 만들어 달라고 요청해 보세요. AI는 매번 한 가지 블록을 잊어버릴 것입니다.

직접 해보세요. Claude에게 당신의 앱을 위한 비디오 업로드 기능을 만들어 달라고 말해 보세요. 그러면 깔끔한 서비스가 만들어질 것입니다. 파일을 받고, 트랜스코딩 (transcoding)하고, 스토리지에 저장한 뒤, 응답을 반환합니다. 잘 작동합니다. 데모를 보여주면 모두가 고개를 끄덕입니다.

하지만 그것을 출시하면, 진짜 세상이 닥쳐옵니다.

수천 명의 사용자가 동시에 업로드를 합니다. 서버가 트랜스코딩을 처리하는 동안 각 요청은 연결을 열어둔 상태로 유지됩니다. 서버의 워커 (worker)가 바닥납니다. 새로운 업로드는 타임아웃 (timeout)이 발생합니다. 데모에서 완벽하게 작동했던 그 기능이 이제 당신의 앱을 다운시키는 원인이 됩니다.

AI는 실수를 한 것이 아닙니다. AI는 당신이 요청한 것, 즉 "비디오를 업로드하라"는 질문에 정확히 답했습니다. 단지 조용한 순간, 좋은 날에, 단 한 명의 사용자를 위해 답했을 뿐입니다. 그것이 데모가 존재하는 유일한 세상입니다.

AI가 잊어버린 그 블록은 바로 큐 (Queue)입니다. 그리고 큐는 거의 아무것도 하지 않기 때문에 생소하게 느껴질 수 있습니다. 큐는 트랜스코딩을 하지 않습니다. 저장도 하지 않습니다. 그저 메시지를 들고 있을 뿐입니다. 시스템의 한 부분이 작업을 던져 넣으면, 다른 부분이 나중에 그것을 가져갑니다. 두 부분은 서로 직접 대화하지 않습니다.

그 "나중에"라는 단어가 핵심입니다. 큐는 모든 작업에 대해 하나의 불편한 질문을 던집니다: "이 작업을 나중에 처리할 수 있는가?"

비디오 업로드의 경우, 솔직한 대답은 "예"입니다. 사용자는 파일이 도착했다는 것을 알아야 합니다. 하지만 파일이 9가지 해상도로 인코딩될 때까지 기다릴 필요는 없습니다. 그래서 작업을 분리합니다. 업로드는 "확인했습니다"라고 말하는 빠른 서비스가 됩니다. 인코딩은 큐로 들어가고, 워커들이 각자의 속도에 맞춰 이를 처리합니다.

이것이 바로 Instagram이 당신의 게시물을 처리하는 방식입니다. '공유'를 누르면 업로드는 빠른 서비스가 됩니다. 그 이후의 모든 것들, 즉 썸네일, 피드 팬아웃 (feed fan-out), 알림, 콘텐츠 모더레이션 (content moderation)은 큐를 타고 흐릅니다. 이것이 바로 게시물 뒤에서 작업이 몇 초 동안 계속 실행되고 있음에도 불구하고, 게시물이 즉시 발행되는 것처럼 보이는 이유입니다.

이제 큐 (Queue)가 무엇을 흡수하는지 살펴보십시오. 한 번에 천 개의 업로드가 발생하나요? 서버가 다운되는 대신 대기열에서 차례를 기다립니다. 새벽 2시에 인코딩 서비스가 중단되나요? 작업은 사라지는 대신 서비스가 복구될 때까지 큐에 머뭅니다. 트래픽이 3배로 급증하는 바이럴 게시물이 올라오나요? 대기 줄이 길어질 뿐, 아무것도 무너지지 않습니다.

큐는 어떤 것도 더 빠르게 만들지 않았습니다. 큐는 시스템이 과부하 상태에서도 살아남을 수 있게 만들었습니다. 속도는 결코 핵심이 아니었습니다. 생존이 핵심이었습니다.

여기에 함정이 있으며, 이는 여러분이 예상하는 것과는 정반대입니다. 일단 사람들이 큐에 대해 배우고 나면, 모든 것을 비동기 (Async) 방식으로 만들고 싶어 합니다. 사용자가 '구매'를 클릭합니다. 시스템은 이를 큐에 넣고, 성공 화면을 즉시 띄운 뒤, 백그라운드에서 결제를 처리합니다. 그러다 결제가 실패합니다. 그것도 조용히 말이죠. 사용자는 구매하지 않은 물건을 샀다고 믿으며 떠나버립니다.

그것이 바로 큐를 완전히 잘못된 곳에 사용한 사례입니다. 이 두 가지 실수를 모두 방지하는 규칙은 단 하나, 정직하게 질문하는 것입니다. "사용자가 지금 당장 결과를 필요로 하는가?" 만약 그렇다면 그것은 동기 (Synchronous) 서비스이며, 큐를 사용하면 사용자에게 거짓말을 하는 셈이 됩니다. 만약 아니라면 그것은 백그라운드 작업이며, 큐는 그 작업이 다른 모든 것을 무너뜨리지 않도록 지켜주는 역할을 합니다.

AI는 거의 항상 서비스 (Service)를 호출하려 할 것입니다. 서비스는 '해피 패스 (Happy-path, 정상 경로)'적인 답변이며, 여러분이 다르게 지시하지 않는 한 모델이 볼 수 있는 경로는 오직 해피 패스뿐입니다.

코스 1 (Course 1)에서 큐는 제가 가르치는 7가지 빌딩 블록 중 하나이며, 데모와 실제 시스템을 구분 짓는 가장 결정적인 요소입니다. 그것이 복잡해서가 아닙니다. 그것이 없었더라면 당신을 구했을 바로 그 밤이 되기 전까지는, 결코 그 중요성을 놓치게 되는 블록이기 때문입니다.

그러니 AI가 만들어준 다음 결과물을 배포하기 전에, AI가 잊어버린 질문을 스스로에게 던져보십시오. "이 일을 나중에 처리할 수 있는가?" 만약 그렇다면, 나중에 처리하십시오. 새벽 2시의 당신이 고마워할 것입니다.

추신: 큐는 그것을 소모하는 워커 (Worker)와 함께 볼 때 가장 이해하기 쉽습니다. 업로드 추적을 포함한 전체 가이드는 여기에서 확인할 수 있습니다: systemthinkinglab.ai/learn/building-blocks/queues/