EY Canada가 사이버보안 보고서를 냈고 인용 대부분이 환각이었다

여러 직군에서 보이는 문제는 AI 출력물이 숙련된 분석가, 시니어 엔지니어, 전문 변호사, 레지던트 의사 같은 지식 있는 사람에게 제대로 검토되지 않는다는 것임
잘해야 훑어보는 정도고, 최악에는 게시·배포·프로덕션 반영·고객 전달·법원 제출 전에 아예 보지도 않음
많은 경우 필요한 검토 역량은 조직 안에 있지만, 그 사람들은 이미 일상 업무만으로도 과부하 상태임
몇 달 전 Amazon이 생성형 AI 출력물을 시니어 엔지니어에게 검토하게 한다는 글(https://news.ycombinator.com/item?id=47323017)을 보고 웃을 수밖에 없었음. 이미 바쁜 사람들인데, Amazon이 프로젝트와 기반 인프라 개발 전반에 인간 병목이 늘어나는 걸 허용할 리 없다는 생각이 듦

문제의 일부는 완성된 문서를 다 구워진 뒤에야 검토하라고 던져준다는 데 있음
조직 전체에 기본적인 엔지니어링 원칙이 필요하다고 밀고 있음
엔지니어에게 무엇을 달성하려는지에 대한 원래 명세도 없이 코드 1000줄을 검토하라고 하지는 않음. 최소한 맥락이 있어야 하고, 이상적으로는 검토자가 일이 처음 소개될 때 그 자리에 있어 전체 맥락을 알아야 함
그런데 이런 문서들은 전부 아니면 전무 식으로 넘어옴. 39번째 지표가 끝까지 세세하게 정의된 상태에서 그걸 되돌릴 건가, 아니면 그냥 이미 이렇게 됐다고 체념할 건가
한 장짜리 문서, Amazon식이면 6쪽짜리 문서일 수도 있지만, “내가 제안하는 건 이렇다” 정도만 있어도 아이디어의 뼈대 단계에서 전체 형태에 대해 반박하고 다듬을 수 있음. 소중한 보고서가 완성됐다는 감정적 투자가 생기기 전이어야 함
전통적으로 제품 쪽이 SCRUM 환경에서 명세를 훑고, 엔지니어가 제대로 코드 검토를 하는 방식과 비슷함. 물론 SCRUM은 죽었지만 그건 또 다른 얘기임

변호사 입장에서는 AI 출력 검토가 처음부터 직접 하는 것보다 더 오래 걸리는 느낌임. 기존 양식을 쓰는 것과 비교하면 말할 것도 없음
AI를 쓰면 전부 읽고, 왜 틀렸는지 설명하고, 결국 전부 다시 써야 하는 경우가 많음
청구 가능 시간은 훨씬 늘지만, 주제를 이해하지 못하는 사람에게 빠르고 접근성이 좋다는 AI의 장점이 어떻게 사라지는지를 보여주는 증상처럼 보임

“지식 있는 사람이 AI 출력물을 검토하지 않는다”는 건, 해고하고 사기를 꺾어놓은 바로 그 사람들을 말하는 건가 싶음
“위대한 남녀”들이 바이브 코딩을 좋아하는 이유 중 하나는, 이제 자기들만으로 예전에는 “맥락 전문가에게 넘기는” 고통스러운 과정을 거쳐야 했던 일을 할 수 있게 됐다고 느끼기 때문임
이제 LLM이 “내장된 맥락 전문가”가 됐으니 더 이상 출력물을 검토할 필요가 없다고 여기는 것임

문제는 출력물을 검증하는 시간이 처음부터 만드는 시간보다 더 오래 걸릴 때가 있다는 것임
그러면 AI는 많은 용도에서 투자 대비 수익률이 크게 음수인 시스템이 됨

특히 교육과 인간 지식 관리에 관심이 있음. IT 교육 속도가 0에 가까워지는 걸 봤음
실수하면 그 결과가 저녁 뉴스에 나올 수 있는 전문 교육을 생각해보면 됨
숫자 행렬에서 나온 문자열을 판단 중지 상태로 받아들이며 모두가 자기 책임만 피하려 한다는 발상 자체가 소름 끼침
남아시아 항공사들이 조종사에게 수동 조종 착륙을 금지해 숙련 저하를 키우고, 결국 잘 알려진 재난으로 이어졌던 일과 비슷함
고액 컨설턴트조차 링크 확인도 하지 않는다면 더더욱 그렇다 싶음

그냥 평문으로 볼 수 있는 출처가 있나? CSS 스타일 때문에 머리가 아프고, 읽기 모드는 작동하지 않거나 막힌 것 같음

스크롤이 정말 괴롭고, 읽기 모드로 전환해도 깨졌음

Firefox에는 페이지에서 텍스트만 뽑아 간소화해 보여주는 편리한 Reader view가 있음. Mac에서는 Opt + CMD + R로 켤 수 있음
다만 이 기능도 사용된 출처 일부가 들어 있는 이미지를 제거해버리는 문제가 있음

iOS의 Lockdown Mode에서도 마찬가지임

진짜 코미디는 이런 쓰레기가 고위 경영진에게서 내려오는 걸 보는 것임. 서툰 프롬프트, 환각 쓰레기, 실행 가능한 정보는 0이고 실제로 아는 분석도 0인 허풍뿐임
“Jira에서 뽑은 지원 이슈 분석을 보세요. 이 상위 세 가지 문제를 반드시 고쳐야 합니다!!!” 같은 식인데, 사실 모두가 몇 년 전부터 알던 내용이고 경영진이 누구에게도 고칠 권한을 주지 않았을 뿐임
이런 걸 두 번 넘게 봤으니 이름이 필요함. Garbagemaxxing이라고 해야 하나

“상위 세 가지 문제를 고쳐야 한다”가 사실 모두가 오래전부터 알던 문제이고 경영진이 해결 권한을 주지 않았던 것이라면, 그래도 순효과는 긍정적인 것 아닌가 싶음

탐색하기 정말 끔찍한 페이지임

모바일에서는 스크롤을 가로채서 말 그대로 더 아래로 내려갈 수가 없음. 읽기 모드도 첫 문단 정도만 보여줌
나중에 데스크톱에서 다시 봐야겠음. 내용은 흥미로워 보이지만 실제로는 읽는 게 불가능함. Ernst and Young을 소개하는 섹션을 지나갈 수가 없음

내 스크롤이 환각을 보는 느낌임

이건 완전히 다른 수준의 사용자 적대성임. 이런 건 전에 본 적이 없음

iPhone이 자동으로 읽기 모드를 켰는데, 무슨 말인지 보려고 꺼봤더니 동의하게 됨

말 그대로 멈춤이 있는 비선형 피드백이라니, 끔찍함
어떤 사람들은 웹사이트를 만들면 안 됨

누가 웹페이지에서 스크롤이 어떻게 동작해야 하는지도 환각한 건가?

이상한 건, 이 보고서가 12~18개월 전만 해도 엄청난 스캔들이 되었고 오래가는 브랜드 손상을 일으켰을 텐데, 이제는 아무도 기억하거나 알아차리지 않을 것 같다는 점임

웹사이트부터 고쳐야 함. 형편없는 JavaScript 애니메이션은 버려야 함. 이런 건 2014년에 D3JS와 jQuery로 이미 해결됐던 것들임

이런 일이 대체 어떻게 생기는 건지 모르겠음. 예를 들어 Qwen Chat이나 Perplexity는 생성된 각 문장 끝에 인용을 붙여줌
그래서 각 인용 위에 마우스를 올리면 어느 웹사이트에서 가져온 것인지 볼 수 있음
그냥 웹 검색 없는 ChatGPT에 프롬프트를 넣고 복사해 붙인 건가?

EY는 지난 1년 내내 조용히 사람들을 해고해왔음
적은 인원으로 더 많은 일을 하려 하면 품질 저하로 이어지는 건 놀랍지 않음

흥미로운 점은, 아무것도 하지 않는 서비스에도 수요가 꽤 있을 수 있다는 것임
많은 기업 업무는 그냥 체크박스 채우기임
상사가 “X에 대한 보고서를 가져와. 내가 그 보고서를 내 상사에게 줄 건데, 그 사람은 읽지 않을 거야”라고 함
그러면 “E&Y, 보고서 하나 만들어주세요. 여기 20만 달러입니다”가 되는 구조임

웹페이지 자체도 바이브 코딩으로 만들었을 가능성이 크고, 작성자는 그걸 신경 쓰지 않았을 것 같음