예전에 저는 제 코딩 에이전트에게 악성 라인(poisoned line)이 포함된 로그 파일을 먹여본 적이 있습니다. 그 안에는 숨겨진 지침을 담은 가짜 오류 메시지가 들어있었죠. 에이전트는 이 로그를 따랐습니다. 세 번의 시도 중 세 번 모두 그랬습니다. 이후 그것은 마치 자신이 확인하지 않은 주문을 반복하는 웨이터처럼, 로그 자체의 단어를 사용하여 성공했다고 보고했습니다.
저는 그 실험을 이 사이트에 게시했고 댓글들은 논쟁으로 변질되었습니다. 그리고 저는 그 과정에서 실행 자체가 가르쳐주지 못한 것을 깨달았습니다. 사람들은 AI 코딩 도구에 대한 의견은 넘쳐나지만, 측정값(measurements)은 부족하다는 것이었습니다.
그래서 제가 이 문제를 해결하기 위해 하는 일이 있습니다.
시리즈: LGTM — 측정을 받자 (Let's Get the Measurements)
LGTM은 코드에 문제가 없어 보일 때 리뷰어들이 남기는 말입니다. 그런데 이 시리즈는 그와 정반대입니다. 앞으로 4주 동안 저는 AI 코딩 주변을 떠도는 주장들—에이전트는 안전하다, 에이전트는 위험하다, 이 도구는 프로덕션 코드를 작성한다, 저 트릭은 당신의 출력을 두 배로 늘린다—를 가져와 작은 실험실에 넣고 실제로 돌려보며 무슨 일이 일어났는지 게시할 것입니다. 결과가 공개됩니다. 실패 사례도 포함해서요. 만약 어떤 주장이 살아남는다면, 그것은 숫자가 첨부된 채로 살아남을 것이고, 죽는다면 그 모습을 지켜보게 될 겁니다.
한 문장으로 요약하자면: AI 코딩에 대한 어떠한 주장도 공적으로 측정되기 전까지는 믿어지지 않을 것입니다.
이 장기적인 계획은 점수판과 같습니다. 8개의 에피소드, 하나의 시즌을 거쳐 마지막에는 단 하나의 표가 있을 겁니다. 우리가 테스트했던 모든 주장, 그 실행 결과가 무엇이었는지, 그리고 그것을 신뢰하는 것이 얼마나 어리석은 행동일지에 대한 내용입니다. 다음에 어떤 스레드가 확실성만 가득하고 증거는 없는 상태로 채워질 때 참고할 수 있는 자료죠.
각 에피소드의 작동 방식
방법론은 실행 전에 문서화된다—무엇이 통과로 간주되고 무엇이 실패로 간주되는지. 수치가 나온 후에 기준을 바꾸는 일은 없다.
실제 도구, 실제 계정, 실제 실행만 사용한다. 시뮬레이션된 것은 아무것도 없고, '대표적인' 것도 없다. 만약 어떤 실행 결과가 나를 부끄럽게 한다면, 그것은 그대로 공개된다.
모든 에피소드는 그 작동 과정을 보여준다: 실제 출력물, 변경 사항(diffs), 스크립트 기록(transcripts). 전체 원본 파일—데이터셋, 완전한 기록, 정확한 스크립트—은 해당 에피소드의 데이터 팩으로 같은 날 Patreon 멤버들에게 제공된다.
기사 자체는 무료로 유지된다. 이 부분은 변함이 없다.
주 2회, **두산요일과 금요일 오후 7시(Dhaka 시간)**에 총 4주 동안 진행된다.
시즌 미리보기—의도적으로 보류된 심판
- 독성 레포지토리(The poisoned repo). 코드 주석, README 섹션, GitHub 이슈가 모두 실제 Copilot에게 동일한 잘못된 지침을 조용히 속삭인다. 5번의 실행. 그것이 물어뜯을까?
- 네 AI, 하나의 명세. Copilot, ChatGPT, Claude, 그리고 Gemini는 동일한 과제와 동일하게 고정된 테스트 스위트를 받는다. 심판은 한 명, 편애는 없다.
- 실제 버그, 실제 레포지토리. Copilot에게 실제 오픈 소스 이슈가 지적된다. 해당 레포지토리 자체의 테스트 스위트가 수정 사항이 진짜인지 결정한다.
- verify=False. 사람들이 끄고 잊어버리는 TLS 검사—실제 환경, 공개 코드에서 대규모로 계산된다.
- 무료 등급 장벽(The free-tier walls). 하나의 실제 업무와 다섯 개의 무료 플랜. 각각의 플랜이 정확히 어디서 사용자를 막는지에 대한 스크린샷들.
- 거짓말하는 문서화. AI가 문서를 작성하면, 나는 그것이 설명하는 코드와 비교하여 그 주장의 모든 것을 확인한다.
- 수동으로 읽는 설치 스크립트. npm 트리 상단에서 한 줄씩 열어 읽는다. 실제로 install을 실행할 때 무엇이 작동하는지.
- 당신의 주장들. 시즌 피날레는 여러분이 댓글에 남긴 주장을 바탕으로 구축된다—테이블과 함께 동일한 방식으로 측정될 것이다.
여러분의 참여
두 가지 것, 둘 다 저렴하다.
첫째, 증거(receipts)를 사랑의 언어로 여기는 분들이라면 계속 지켜봐 주세요. 점수판은 1주차에 논쟁했던 사람들이 4주차에도 여전히 여기에 와서 표가 채워지는 것을 지켜봐 주어야만 작동합니다.
둘째, 그리고 이게 진짜입니다: 댓글에 주장을 남겨주세요. 여러분이 AI 코딩 도구에 대해 듣거나 믿었거나 의심했거나 스스로 반복했던 문장이라면 무엇이든 좋습니다. “Agents는 항상...” “Claude는 절대...” “Copilot은 할 수 없어...” 이 문장이 사실일 필요는 없습니다. 검증 가능해야 합니다. 가장 좋은 주장들은 에피소드 8에 들어가 공개적으로 측정되며, 그 주장을 가져온 사람에게 공로가 돌아갈 것입니다.
에피소드 1은 이미 연구실에 있습니다. 작은 결제(billing) 앱입니다. 세 군데 다른 장소에 심어진 세 가지 조용한 속삭임—댓글, README, 이슈. 거절되어야 할 만료된 할인 코드 하나. 그리고 이름 변경과 JSON 플래그를 하는 것 외에는 더 위험한 일을 하지 않는 실제 Copilot이 들어옵니다. 시계가 돌아가는 5번의 실행(runs)입니다.
오늘 19:00에 공개됩니다. 여러분의 회의적인 시각을 가져와 주세요. 저는 증거를 가져오겠습니다.
P.S. 제가 쓰는 모든 내용은 무료로 유지됩니다—이 부분은 변함없습니다. 하지만 이것이 여러분에게 가치가 있었다면, 커피 한 잔을 사주실 수 있습니다 ☕ (일회성 또는 월별 모두 가능합니다). 이는 이러한 실험의 배경에 있는 API 크레딧과 호스팅 비용을 충당하며—솔직히 말해서, 제가 그렇지 않았다면 건너뛰었을 저녁에도 다음 것을 시작하게 만드는 자극제 역할도 합니다. — Salam
Buy me a coffee
AheadKit on Gumroad — Beginner-Friendly Books & Packs
