AI가 라이브 퍼포먼스를 더 나쁜 신호로 만들고 있는 이유

이것이 무엇에 관한 것인가

나는 많은 엔지니어링 인터뷰가 여전히 첫 데이트처럼 구성되어 있다는 느낌을 점점 더 강하게 받는다. 이러한 인터뷰는 동기식 작업 (synchronous work), 속도, 스타일 적합성, 연락의 용이성, 그리고 빠르게 좋은 인상을 남기는 능력을 측정하는 데는 능숙하다. 누군가의 작업 결과에 대한 평가는 훨씬 드물다. 문제는 실제 엔지니어링 작업은 첫 데이트보다는 결과가 따르는 긴 결혼 생활에 더 가깝다는 점이다.

이것은 동기식 작업이 더 이상 필요하지 않다거나 모든 라이브 형식이 무의미하다는 뜻이 아니다. 요점은 더 좁지만 불쾌하다: AI 보조 개발 (AI-assisted development) 환경에서, 라이브 퍼포먼스 (live performance)는 실제로 병목 현상 (bottleneck)이 되고 있는 엔지니어링 가치의 부분을 측정하는 데 점점 더 서툴러지고 있다.

기계가 점점 더 많은 로컬 실행 (local execution)을 담당함에 따라, 병목 현상은 더 이상 관찰 하에 사람이 얼마나 빨리 응답하느냐가 아니다. 병목 현상은 작업의 기초를 유지하고, 충돌을 인지하며, 제약 사항을 기록하고, 왜 한 경로가 선택되고 다른 경로는 거부되었는지 설명하며, 아티팩트 (artifact)를 남기는 능력이다.

내가 말하는 아티팩트란 무엇인가

아티팩트라고 해서 관료주의나 문서화 만능주의를 의미하는 것이 아니다. 나는 훨씬 더 실질적인 것들을 의미한다:

• 명확하게 기록된 근거 (rationale);
• 단순히 "무엇이 잘못되었는지"뿐만 아니라, 그것이 왜 위험한지를 보여주는 리뷰;
• 채팅 속에서 사라져서는 안 될 기록된 불변량 (invariant);
• 짧은 분기점 (fork): 왜 한 경로는 거부되고 다른 경로는 선택되었는지에 대한 기록;
• 다음 결정이 간접적인 단서로부터 다시 재구성될 필요가 없도록 업데이트된 컨텍스트 레이어 (context layer).

이것들은 작업의 장식이 아니다. 실행 비용이 저렴해짐에 따라 점점 더 비싸지는 부분, 즉 작업 그 자체이다.

왜 이것이 AI와 함께할 때 특히 눈에 띄는가

만약 AI가 이미 초안을 빠르게 조립하고, 테스트 스캐폴딩 (test scaffolding)을 작성하며, 분해 (decomposition)를 제안하고, 보일러플레이트 (boilerplate)를 생성하며, 말하지 않은 나머지 부분을 그럴듯하게 완성할 수 있다면, 빠른 반응 속도는 더 이상 그렇게 희소한 이점이 아니게 된다. 대신 다른 무언가가 희소해진다: 바로 사고를 휴대 가능하게 (portable) 만드는 능력이다.

강력한 에이전트 (agent)가 없는 세상에서는 기억력, 즉흥성, 그리고 영웅적인 즉석 추측에 의존하며 살아가는 것이 더 쉬웠다. 누군가가 무언가를 이해하고, 그것에 대해 논의하고, 즉석에서 패치(patch)를 적용하고, 그것을 머릿속에 담아둔 채 다음 단계로 넘어갔다. AI가 있는 세상에서는 그러한 암묵성 (implicitness)의 대가가 높아진다. 만약 중요한 결정이 누군가의 머릿속이나 대화 속에만 남아 있다면, 다음 에이전트는 힌트를 통해 그것을 재구성할 것이다. 때로는 성공적으로, 때로는 그렇지 못하게. 하지만 거의 항상 드리프트 (drift, 편차)의 위험을 동반한다.

따라서 엔지니어링의 가치는 점점 더 “내가 알아냈다”라는 순간이 아니라, **“내가 이 추론을 다음 단계에서 사용할 수 있게 만들었다”**라는 순간에 존재하게 된다.

LLM (대규모 언어 모델)은 아무것도 없는 상태에서 의미를 만들어내지 않는다. 그것들은 이미 쓰였고, 읽혔고, 연결되었으며, 숙고된 것들을 재가공한다. 따라서 AI와 함께할 때는 단순히 프롬프트 (prompt)를 빠르게 작성하는 것뿐만 아니라, 손에 무언가를 쥐고 프롬프트에 임하는 것이 점점 더 중요해진다. 당신만의 노트와 함께. 당신만의 사고의 씨앗과 함께. 당신만의 아이디어 간 연결 고리와 함께. 당신이 이미 모아둔 연료와 함께 말이다.

그렇지 않으면 모델은 매우 쉽게 매끄럽고 그럴듯한 공허함을 생성하는 생성기로 변질된다. 이는 글쓰기나 연구뿐만 아니라 개발에서도 위험하다. 밑바탕에 실제적인 토대가 없을 때조차, 매끄러움이 이해(understanding)처럼 보이기 시작하기 때문이다.

그런 의미에서 아티팩트 (artifact, 결과물)는 인간이든 기계든 사고를 위한 양분이기도 하다. 아티팩트가 없다면 우리는 '후쿠시마 식 대응'을 하게 된다. 시멘트를 붓는 대신, 사람들은 그저 시멘트처럼 보이도록 인쇄된 종이로 문제를 덮어버리는 것이다.

인간 지능 문제의 증폭기로서의 인공지능

물론, 산업용 소프트웨어 개발은 이 이전부터 산출물 (artifacts) 없이는 결코 제대로 작동할 수 없었습니다. 아키텍처 결정 (Architectural decisions), 불변량 (invariants), 근거 (rationale), 그리고 합의 사항들은 항상 어딘가에 기록되어야만 했습니다. 그렇지 않으면 시스템은 기억과 추측에 의존하여 돌아가기 시작할 것이기 때문입니다. 하지만 이제는 마치 모두가 주머니 속에 강력한 실행 중심의 애자일 (agile) 팀을 하나씩 품고 있는 것과 같으며, 오래된 문제는 그저 더 날카로워졌을 뿐입니다. 즉, 다음 단계(next move)를 만들어내기가 쉬워질수록, 그 단계에 대한 명시적인 근거가 부재할 때 발생하는 비용은 더욱 비싸집니다.

매우 거칠게 표현하자면, 여기서 오래된 '스마트 노트 (smart notes)'의 직관이 다시 등장합니다. 기록되지 않은 것은 아무것도 의미가 없다는 것입니다. 모든 것을 프로토콜화 (protocolized) 해야 하기 때문이 아니라, 머릿속에만 남아 있는 이해는 일시적인 중단(pause)만으로도 사라지기 쉽고, 더 발전시키기 어려우며, 의미 있는 방식으로 검증하기도 어렵기 때문입니다. 그것은 쉽게 지적 건망증 (intellectual amnesia)의 희생양이 됩니다.

이런 의미에서 스마트 노트는 단순한 노트 필기 기술이 아니라, 사고의 규율 (discipline of thinking)로서 흥미롭습니다. 생각은 나중에 다시 돌아와 자신의 의미로 풍성하게 만들 수 있는 형태로 남겨져야 합니다. 단지 스스로 이해하는 데 그치지 않고, 다음 반복 (iteration)이 그 위에 쌓아 올릴 수 있는 무언가로 남겨두어야 합니다. 다음 사람, 다음 에이전트 (agent), 혹은 미래의 당신 자신을 위해서 말입니다.

이는 AI 보조 개발 (AI-assisted development)과 매우 잘 맞물립니다. 그곳에서는 차이가 특히 빠르게 가시화됩니다. 바로 “내가 이해한 것 같다”와 “사용 가능한 산출물 (artifact)을 남겼다” 사이의 차이입니다. 첫 번째 경우, 다음 반복은 간접적인 단서로부터 그 의미를 다시 추측합니다. 두 번째 경우, 이미 완료된 지적 작업을 상속받습니다.

라이브 퍼포먼스가 왜 그토록 쉽게 우리를 속이는가

퍼포먼스 중심의 평가는 여전히 자연스럽게 느껴집니다. 과제를 부여합니다. 사람에게 생각을 소리 내어 말해달라고 요청합니다. 그들이 즉석에서 어떻게 설계하는지 관찰합니다. 라이브 코딩 (live coding)을 시킵니다. 타이머를 설정합니다. 트레이드오프 (tradeoffs)를 빠르게 설명해달라고 요청합니다. 이 모든 것에는 논리가 있습니다.

이는 관찰 하에 사람이 어떻게 행동하는지를 잘 보여줍니다. 얼마나 빨리 대답하는지, 실시간으로 어떻게 말하는지, 인위적으로 압축된 시간 내에 과업을 어떻게 해결하는지 말입니다. 이 모든 것은 유용한 신호 (signal)가 될 수 있습니다. 하지만 이것이 반드시 다음과 같은 질문에 대한 최선의 답은 아닙니다: 이 사람이 다음 반복 (iteration)을 더 강력하게 만드는 사고의 구조 (structure of thinking)를 남기는가.

카리스마 (Charisma), 점성 (Viscosity), 그리고 신뢰성 (Reliability)

여기에 또 다른 불쾌한 비대칭성 (asymmetry)이 존재합니다. 어떤 사람은 매우 카리스마가 넘치고, 아이디어가 풍부하며, 당신의 습관과 템포에 빠르게 맞춰져 매우 강력한 적합성 (compatibility)을 느끼게 할 수 있습니다. 그 순간만큼은 거의 이상적인 작업자처럼 보입니다.

하지만 또 다른 유형도 있을 수 있습니다: 더 느리고, 더 신중하며, 단서 (caveats)와 잘못된 시작, 되돌아오기, 그리고 재확인이 가득한 유형입니다. 라이브 인터뷰 (live interview)에서 이 사람은 거의 필연적으로 패배합니다. 하지만 이 사람이 종종 더 신뢰할 수 있는 흔적을 남깁니다. 순간적인 퍼포먼스 (performance)를 저해하는 몇몇 자질들이 최종 결과물 (artifact)을 크게 개선합니다. 이 사람은 불확실성 (uncertainty)을 너무 일찍 무너뜨리지 않습니다. 이 사람은 다른 사람이 편리하게 침묵할 법한 곳에 단서 (caveat)를 추가합니다. 이 사람은 자기 모순을 알아차립니다. 이 사람은 해결책을 너무 일찍 팔아치우지 않습니다. 이 사람은 나중에 실수가 비용이 많이 들게 될 지점에서 속도를 늦춥니다.

다시 말해, 퍼포먼스는 매끄러움 (smoothness)을 선호하는 반면, 신뢰성은 종종 마찰 (friction)을 선호합니다. 좋은 인상과 좋은 결과물은 우리가 원하는 만큼 상관관계 (correlate)를 갖지 않습니다. 카리스마 있고 빠른 사람은 지루하고 느린 사람보다 덜 신뢰할 수 있는 결정을 남길 수 있습니다. 전자는 자신감을 팔고, 후자는 더 자주 검증됨 (verifiedness)을 팝니다.

물론, 똑똑해 보이면서도 재사용 가능한 훌륭한 결과물을 만들어내는 사람들도 있습니다. 하지만 그들은 우리가 원하는 것보다 다소 드뭅니다. 그리고 우리가 첫 만남 (first date)을 통해 평가하는 것을 좋아할수록, 우리가 체계적으로 탁월함 (brilliance)의 가치는 높게 평가하고 신뢰성 (reliability)의 가치는 낮게 평가할 위험은 더 커집니다.

채용에 미치는 영향

이것은 사람을 평가하는 것에 대한 불쾌하지만 유용한 생각으로 이어진다고 생각합니다. 인터뷰를 폐지해야 한다거나 서면 형식이 유일하게 정직한 방식이라고 선언해야 한다는 의미가 아닙니다. 하지만 퍼포먼스 중심의 평가가 점점 더, 실제로 가장 비싸지는 것(most expensive thing)을 측정하지 못하게 된다는 의미입니다.

만약 로컬 실행(local execution)이 더 저렴해진다면, 더 비싸지는 것은 인상(impression)이 아니라 결과(consequences)입니다. 아름다운 답변은 아니지만, 계속해서 이어갈 수 있는 생각입니다. 단순히 "강한 사람"이 아니라, 다음 반복(iteration)이 시작될 때 "여기서 도대체 무슨 일이 일어나고 있는지 아는 사람이 있나요?"라는 질문이 아니라 그 질문에 대한 답변과 함께 시작되는 사람 말입니다.

그래서 지금 저에게 더 가깝게 느껴지는 공식은 이것입니다: 강한 엔지니어는 단순히 라이브(live)에서 퍼포먼스를 잘하는 사람이 아닙니다. 상속 가능한 사고(inheritable thinking)를 남기는 법을 아는 사람입니다.

인상이 아닙니다. 유능함의 아우라도 아닙니다. 아름다운 한 시간짜리 대화도 아닙니다. 하지만 리뷰(review), 근거(rationale), 제약 조건(constraints), 명시적인 분기(explicit forks), 그리고 업데이트된 컨텍스트(updated context) — 즉, 그 순간을 넘어 살아남아 다음 작업의 입력값(input)이 되는 것들입니다.

결론

이것이 동기화(synchrony)의 가치를 상쇄한다고 생각하지는 않습니다. 하지만 강력한 LLM(Large Language Models)과 함께라면, 과거의 편향이 훨씬 더 명확하게 드러난다고 생각합니다. 우리는 습관적으로 여전히 퍼포먼스를 좋아하지만, 실제 엔지니어링 가치는 눈앞의 문제를 해결하는 것이 아니라 사고를 휴대 가능하게(portable) 만드는 산출물(artifacts)에 점점 더 많이 담겨 있습니다.

아마도 제가 솔로+AI 모드, 텍스트 우선 사고(text-first thinking), 그리고 채용 연극(hiring theater)에 대한 피로감이 섞여 있기 때문에 이것이 특히 눈에 띄는 것일 수도 있고, 어쩌면 제가 이 변화의 규모를 과대평가하고 있는 것일지도 모릅니다. 하지만 만약 그렇지 않다면, 우리는 일하는 방식뿐만 아니라 사람을 평가하는 방식도 재고해야 할 것입니다. 순간의 매끄러움(smoothness)을 덜 신뢰하고, 그 이후에 무엇이 남는가에 더 많은 주의를 기울여야 합니다.