🎧 이 에피소드를 들어보세요
어제 Karan Balaji는 학교 동창이자 현재 신경 공학(neural engineering) 박사 학위를 취득하며 노인들의 음성 인식에 대해 연구하고 있는 친구 Ram K Pari와 만났습니다. 그들은 토론을 계획하지 않았습니다. 단지 다양한 형태로 계속해서 제기되는 하나의 질문, 즉 '왜 같은 AI가 초보자와 전문가에게 완전히 다른 결과를 보여주는가?'에 답하고자 했습니다.
대화는 한 가지 답변으로 계속 돌아왔습니다. AI는 권위가 아니라 도구라는 것입니다. 그리고 좋은 결과와 나쁜 결과의 차이는 거의 모델 때문이 아닙니다. 그것은 그 도구를 사용하는 사람과, 그 사람이 작업물을 확인하는지에 달려 있습니다.
AI는 리믹스를 할 뿐, 창조하지 않는다.
Ram은 여전히 수동으로 최적화 코드를 작성합니다. 이는 처음에는 Karan을 놀라게 했고, Ram이 왜 그런지 설명하자 이해하게 되었습니다. 이미 존재하는 것을 단순히 재조합하는 것이 아니라, 진정으로 새로운 무언가를 만들려고 할 때, 대규모 언어 모델(LLM)은 적절한 도구가 아닙니다. LLM은 이미 수행된 것에 대해 훈련되었기 때문입니다. 그것은 기존의 내용을 재결합하고, 문구를 바꾸며, 문제의 가장자리에서 영리하게 빠져나가는 방법을 찾아냅니다. 그 자체로는 학문을 발전시킬 통찰력을 가지고 있지 않습니다.
Ram은 Navier-Stokes 방정식의 예를 들었습니다. 이 주제에 대한 잘 알려진 3Blue1Brown 영상이 있으며, 이와 관련하여 언론의 헤드라인을 장식했던 AI 접근 방식들은 핵심 문제를 해결하기보다는 주로 엣지 케이스(edge cases)나 이상한 우회 방법을 찾아내는 데 그쳤습니다. Ram의 지적은 명확했습니다. 그러한 접근 방식으로는 해당 분야가 기반으로 삼을 수 있는 것이 아무것도 드러나지 않는다는 것입니다. 만약 특정 분야에 종사한다면, 앞으로 나아가기 위해서는 극도로 구체적인 지식이 필요하며, 어떤 프롬프트도 그것을 대체할 수는 없습니다.
이것은 대중의 대화가 놓치는 부분입니다. 평범한 사람에게 평범한 날에는 리믹싱만으로 충분합니다. 우리가 하는 일 대부분은 새로운 것이 아닙니다. 이미 다른 형태로 어딘가에 존재하는 웹사이트, 보고서, 코드 조각일 뿐입니다. AI는 이 분야에서 매우 뛰어납니다. 실수는 그것이 잘 재조합한다고 해서 창조도 할 수 있다고 가정하는 것입니다. 적어도 아직까지는 그렇지 않습니다.
도끼와 전지형톱
카란은 통화 중 람에게 한 비유를 들었고, 그 비유는 깊이 와닿았습니다. 전문가인 벌목꾼에게 도끼를 주고 초보자에게 전기를 사용하는 체인을 건네준 뒤 나무를 쓰러뜨리라고 시킨다고 가정해 봅시다. 전문가는 이깁니다. 도끼가 더 좋아서가 아니라, 어디서 잘라야 하는지, 어떤 각도로, 얼마나 깊이 잘라야 하는지를 알기 때문입니다. 반면 전기를 사용하는 체인을 가진 초보자는 나무 줄기 전체를 원형으로만 자르려 할 것이고, 나무는 움직이지 않을 것입니다.
이는 카란이 수년 동안 비유로 사용해 온 포토샵(Photoshop)과 같습니다. 포토샵이 사진작가들을 죽이지 않았습니다. 사진작가들은 자신이 어떤 좋은 사진인지, 그리고 그 도구를 어떻게 유도해야 하는지 알았기 때문에 직업을 유지할 수 있었습니다. 이 도구는 그들을 더 빠르게 만들었을 뿐, 불필요하게 만든 것은 아니었습니다.
AI 역시 더 큰 규모에서 같은 이야기입니다. UX(User Experience)를 아는 디자이너는 모델에게 5단계가 아닌 1단계 워크플로우로 유도할 수 있습니다. 자신의 도메인 지식을 아는 연구자는 모델이 자신감 있게 표류하기 시작하는 순간을 포착할 수 있습니다. 차이를 알지 못하는 초보자는 완성된 것처럼 보이는 결과물을 얻지만, 실제로는 그렇지 못한 것입니다.
더닝-크루거 함정 (The Dunning-Kruger trap)
람은 학사 및 석사 학생들을 지도하는데, 대화는 바로 이 지점에서 심각해졌습니다. 그는 학생들이 문제 전체를 AI 도구에 붙여넣고, 해결책을 받고, 자신이 이해했다고 믿으며 떠나는 것을 목격합니다. 그들은 그렇지 않습니다. 그들에게는 '답'이 있을 뿐, '지식'은 없습니다. 과제의 핵심 목적이었던 학습 결과가 전혀 일어나지 않은 것입니다.
몇 세대 전만 해도 람에게는 이 문제를 해결할 비법이 있었습니다. 그는 학생들이 AI가 완벽한 해답을 내놓지 못하도록 충분히 어렵게 과제를 출제했습니다. 학생들은 왜 AI가 잘못되었는지 디버깅(debugging)해야 했고, 바로 그 디버깅 과정에서 실제 학습이 이루어졌습니다. 이 방법이 최신 모델(frontier models)에서도 여전히 통하는지는 확신할 수 없지만, 그 원칙은 그 어느 때보다 중요합니다. 도구가 생각하게 둔다면, 학생은 아무것도 하지 않게 됩니다.
이것이 순수한 형태의 더닝-크루거 효과(Dunning-Kruger effect)입니다. 모르는 것이 많을수록 자신이 많이 안다고 생각하며, 놓치고 있는 깊이를 볼 수 없기 때문입니다. AI는 이를 악화시키는데, 유창하고 자신감 넘치는 결과물을 제공하기 때문입니다. 유창함은 이해처럼 느껴지지만, 그렇지 않습니다.
초보자가 이론적으로 전문가를 능가할 수 있는 한 곳
Ram은 초보자가 이론적으로 전문가보다 나을 수 있는 하나의 예외 사례(edge case)를 언급했으며, 이는 정직하게 언급할 가치가 있습니다: 의료 진단입니다. 의사는 가능성이 높은 원인부터 드문 원인 순서로 특정 순서에 따라 작업하도록 훈련받습니다. AI 도구는 그러한 순서가 없습니다. 표준 순서로는 마지막에 도달하거나 아예 다루지 않을 수 있는 이상 증상 세트에 대해 희귀 진단을 제시할 수도 있습니다.
하지만 Ram은 여기에 큰 주의 사항(caveat)을 두었고, Karan이 더 크게 반복할 것입니다: 먼저 의사와 상담하십시오. 전문가 지식 없이 의료 결정을 위해 AI를 사용하는 것은 막대한 위험입니다. 이 예외 사례는 실재하지만 드물며, 통계적 분포가 존재하는 데에는 이유가 있습니다. 대부분의 경우, 일반적인 진단이 올바른 것이고, 전문가의 사전 지식(priors)은 버그가 아니라 기능(feature)입니다.
디자인에도 여전히 디자이너가 필요하다
Karan은 디자인 엔지니어링에서 자신의 버전을 공유했습니다. 모델에게 화면 개선을 지시하면 눈에 보이는 변화를 일으킵니다: 더 나은 글꼴, 더 현대적인 모습, 디자인 시스템 기반의 더 깔끔한 레이아웃입니다. 하지만 스스로 할 수 없는 것은 실제 사용자 경험(UX)입니다. 다섯 단계가 한 단계가 되어야 한다거나, 사이드바 경험이 다중 페이지 흐름보다 워크플로우에 더 적합하다는 것을 결정하지 못합니다. 당신은 그것을 정확하게 지시해야 하고, 그런 다음 실제로 그렇게 했는지 확인해야 합니다.
Karan은 이 루프를 최첨단 모델(frontier model) 수준에서 실행했습니다. 첫 번째 결과물은 인간이 직접 사용하기 어려운 경우가 드뭅니다. 당신이 방향을 제시하고, 검토하고, 재지시해야만 비로소 좋은 것이 됩니다. 작업 자체가 사라진 것은 아닙니다. 생성하는 것(producing)에서 지시하고 확인하는 것(directing and verifying)으로 형태가 바뀐 것입니다.
PHP 이야기: 백만 개의 토큰, 패치 없음
Ram의 가장 좋은 예시는 보안 분야에서 나왔습니다. 최근 대규모 PHP 취약점이 헤드라인을 장식했는데, 이는 웹의 거대한 부분을 건드렸던 것이었습니다. 패치가 나오기 전, 사람들은 AI를 이용해 익스플로잇(exploit)을 찾기 위해 서둘렀습니다. Ram은 사용자들이 이틀 만에 백만 개의 토큰을 소모했으며, 트위터에는 자신이 정확한 익스플로잇을 찾아냈다고 주장하는 사람들이 물밀듯이 쏟아져 나왔다고 설명했습니다. 하지만 그들은 그렇지 않았습니다. 그들의 모델은 더 오래된 취약점을 악용하고 있거나, 자신들의 로컬 머신에서만 작동하는 속임수를 찾고 있을 뿐이었습니다.
이것이 바로 가장 비싼 형태의 검증 문제입니다(validation problem). 당신은 항상 출력을 얻게 됩니다. 모델은 자신이 작업을 수행했다고 알려줄 것입니다. 문제는 그것이 실제로 당신의 지침을 따랐는지, 그리고 그것이 생성한 것이 진실인지 여부입니다. 이들은 두 가지 다른 질문이며, 오직 인간만이 답할 수 있습니다.
Ram이 잘 요약했습니다: AI는 작업이 완료되었다고 말해주는 동료와 같습니다. 그것이 정말로 완료되었는지 알아낼 방법은 단 하나뿐합니다. 직접 확인하는 것입니다.
카란을 가장 걱정하게 하는 편향성
여기에 Ram과 Karan 모두가 계속 목격하고 있는 패턴이 있으며, 이것이 Karan에게 가장 큰 우려를 안겨줍니다. 10개의 AI 작업 중 9개가 순조롭게 진행되면, 사람들은 열 번째 작업을 검증하는 것을 조용히 멈춥니다. 도구가 신뢰할 만하다고 느껴지기 때문에 확인하는 습관이 사라집니다. 그러다가 한 작업이 중요한 환경(critical environment), 즉 인터넷에 노출된 시스템이나 실제 사용자를 건드리는 코드에서 발생하고, 생략된 검증이 나쁜 하루와 비즈니스 상실의 차이를 만듭니다.
이것은 가정이 아닙니다. 프로덕션 환경에서 AI가 생성한 코드를 검증하지 못하는 것은 그 자체로 비즈니스 리스크입니다. 수익, 신뢰, 그리고 최악의 경우 회사 자체를 잃을 수 있습니다.
검증은 또한 재귀적(recursive)이기도 한데, 이것이 사람들이 잊는 부분입니다. AI 에이전트(AI agent)를 사용해서 검증 테스트를 작성할 수도 있습니다. 하지만 그러면 당신은 그 테스트 자체가 자신이 생각하는 대로 작동하는지 확인해야 합니다. 점검 과정이 불필요해지는 지점은 없습니다. 체인은 그냥 움직일 뿐입니다.
덜 일하기보다 더 많이 일하기
통화에서 나온 또 다른 관찰 내용인데, 이는 가장 큰 흐름과 상반됩니다. Ram은 AI 때문에 사람들이 덜 일하는 것이 아니라 더 많이 일하고 있다는 연구 결과를 언급했습니다. Karan이 업계 사람들과 이야기한 모든 사람이 같은 말을 합니다. 기대치는 새로운 역량을 채우기 위해 높아집니다. 이 도구는 당신이 더 많은 일을 할 수 있게 해주므로, 동일한 시간 동안 더 많은 것이 요구됩니다.
이는 직업에 대한 질문을 재구성합니다. 대규모의 중급 코딩 작업은 실제로 위험에 처해 있습니다. 그러나 지식 자체가 직무인 도메인 특화 역할(domain specific roles)은 현재로서는 안전해 보입니다. AI가 그것들을 건드릴 수 없기 때문이 아니라, AI를 잘 이끌어가는 것이 사람들이 대체될까 두려워했던 바로 그 전문성을 요구하기 때문입니다.
내일 가져갈 규칙
그래서 Karan이 이 대화에서 얻은 규칙이자, AI를 처음 시작하는 누구에게도 전해줄 규칙은 다음과 같습니다: 모든 AI 출력물을 자신감 있는 동료가 작성한 초안으로 취급하십시오. 실제로 무엇을 요청했는지와 비교하여 검증하십시오. 현실과 비교하여 검증하십시오. 그리고 그것이 더 중요할수록, 더 신중하게 검증해야 합니다.
그 습관이 전문가와 초보자를 가르는 차이이며, 내년에 모델들이 무엇이라고 불리든 이 차이는 유지될 것입니다. Ram은 그때쯤이면 우리가 그것을 슈퍼 인텔리전스(superintelligence)라고 부를 것이라고 농담했습니다. 이름은 바뀔 것입니다. 규칙은 바뀌지 않을 것입니다: 도구가 작업을 수행하지만, 결과에 대한 책임은 여전히 당신에게 있습니다.