임원 경력에서 AI 개발자로 전환하며 실제로 활용한 역량은 무엇인가

자주 묻는 질문 (FAQ)

질문: 현재 AIdeazz가 Oracle Cloud에서 운영하는 프로덕션 에이전트의 개수는 몇 개인가요?
A: Telegram과 WhatsApp을 통해 일일 4,200 세션을 처리하는 11개의 다중 에이전트 시스템입니다. 그중 가장 큰 시스템은 속도를 위해 트래픽의 68%를 Groq으로 라우팅하며, 더 깊은 추론이 필요한 9%의 질의에 대해서만 Claude 3.5 Sonnet으로 폴백(fallback)합니다. 월별 인프라 비용은 $380 미만입니다.

질문: 에이전트를 단독으로 배포하는 데 가장 직접적으로 도움이 된 임원 역량은 무엇이었나요?
A: 이해관계자 매핑(Stakeholder mapping)과 냉철한 우선순위 설정 능력입니다. 부사장으로서 저는 제안된 이니셔티브의 60%를 이사회에 도달하기 전에 폐기했습니다. 같은 필터가 이제 이번 스프린트에서 어떤 에이전트 기능이 개발될지, 아니면 백로그(backlog)에 보관될지를 결정합니다. 이것이 없었다면 실제로 작동하는 11개 대신 완성되지 않은 에이전트 27개를 가지고 있었을 것입니다.

질문: 러시아의 규제 및 인프라 배경은 파나마 이주에 도움이 되었나요, 아니면 방해가 되었나요?
A: 컴플라이언스(compliance)와 위협 모델링(threat modeling)에는 도움이 되었지만, 속도 면에서는 방해되었습니다. 러시아 프로그램들은 세 개의 서명과 6개월의 리드 타임이 필요했습니다. 파나마는 제가 11분 만에 새로운 Oracle shape을 구축할 수 있게 했습니다. 이 두 현실 간의 격차는 느린 피드백 루프를 가정했던 모든 프로세스를 버리도록 강요했습니다.

질문: 프로필에서 14년간의 임원 경력 공백을 숨기지 않게 된 것은 얼마나 걸렸나요?
A: 19개월이었습니다. 처음 11개월 동안 저는

Q: Groq 폴백 (fallback)을 포함하여 Oracle에서 멀티 에이전트 라우팅 (multi-agent routing)을 실행할 때 실제 비용과 가동 시간 (uptime)은 얼마인가요?

A: 현재 볼륨 기준으로 완료된 세션당 $0.0034입니다. 라우팅 레이어 (routing layer)의 가동 시간은 지난 90일 동안 99.94%를 유지했습니다. 유일한 중단 사례는 Oracle이나 Groq의 문제가 아니라, 제가 잘못 업데이트한 프롬프트 (prompt) 때문이었습니다.

저는 부사장 (Deputy CEO) 직책을 떠난 지 14개월 만에 첫 번째 프로덕션 에이전트 (production agent)를 출시했습니다. 피벗 (pivot)을 거의 무산시킬 뻔했던 실패는 4개월 차에 발생했습니다. 저는 14개의 마이크로서비스 (microservices)를 갖춘 “포괄적인 플랫폼”을 구축하는 데 $11,400와 187시간을 썼지만, 정작 이를 필요로 하는 사용자가 단 한 명도 없다는 사실을 깨닫기 전까지는 알지 못했습니다. 그 교훈은 값비쌌고 즉각적이었습니다. 그 결정 이후의 모든 것은 대부분의 전직 임원들이 존재한다는 사실을 인정하기 거부하는 제약 조건들에 의해 형성되었습니다.

임원 경력이 실제로 전이되는 것들

불확실성 속에서의 예산 통제 (budget control) 능력은 완벽하게 전이됩니다. 제가 관리했던 러시아 디지털 인프라 프로그램에서는 분기별 검토를 통해 하룻밤 사이에 30%를 삭감할 수 있는 연간 $47M 규모의 지출을 관리했습니다. 동일한 역량이 현재는 AIdeazz가 하루 4,200개의 세션을 처리하면서도 Oracle Cloud 상에서 월 $380를 유지하도록 해줍니다. 저는 제품을 망가뜨리지 않으면서 어떤 항목을 삭감할 수 있는지 정확히 알고 있습니다.

벤더 (vendors)와의 협상 능력도 전이됩니다. Oracle 영업 담당자들은 제가 러시아 국영 계약업체들에게 사용했던 것과 동일한 압박에 반응합니다. 제가 그들이 가격 구조 (shape pricing)를 맞춰주지 못한다면 전체 워크로드 (workload)를 Hetzner로 옮기겠다고 말했을 때, 그들은 48시간 이내에 조정했습니다. 언어는 다르지만 권력 역학 (power dynamic)은 동일합니다.

채용 및 해고 결정도 전이됩니다. 저는 지난 1년 동안 세 명의 계약직을 해고했습니다. 매번 패턴은 동일했습니다. 그들은 신뢰할 수 있는 가동 시간 (uptime) 대신 인상적인 데모 (demos)를 위해 최적화하려 했습니다. 임원 시절의 버전이 KPI를 달성하지 못한 부서장을 해고하는 것이었다면, 기술적인 버전은 프로덕션 환경에서 가격 데이터를 환각 (hallucinate)하는 에이전트를 해고하는 것입니다.

나를 가장 놀라게 했던 기술은 위기 커뮤니케이션 (crisis communication)이었습니다. WhatsApp 에이전트 중 하나가 파나마의 스페인어 사용자들에게 러시아어로 된 에러 메시지를 보내기 시작했을 때, 나에게는 사과문을 작성하고, 롤백 (rollback)을 실행하며, 라우팅 테이블 (routing table)을 업데이트할 수 있는 40분의 시간이 주어졌습니다. 2019년 모스크바 인프라 장애 당시 사용했던 것과 동일한 템플릿이 거의 수정 없이 그대로 통했습니다.

완전히 쓸모없었던 것들

PowerPoint 거버넌스 연극 (governance theater). 예전에는 이사회를 위해 47장의 슬라이드로 구성된 덱 (deck)을 준비하는 데 분기당 18시간을 썼습니다. 하지만 당신이 결정을 이해해야 하는 유일한 사람일 때, 그 기술은 마이너스 가치를 가집니다. 이제 나는 모든 것을 14행짜리 Notion 테이블로 추적합니다. 그보다 길어지면 낭비입니다.

위원회 기반의 리스크 관리 (risk management). 정부 관련 프로그램에서는 모든 결정에 법무, 보안, 그리고 3개의 국(directorates)의 승인이 필요했습니다. 그 결과는 6개월의 주기와 희석된 책임감이었습니다. AIdeazz를 위해 아주 가벼운 버전이라도 복제하려고 시도했을 때, 첫 번째 에이전트가 프로덕션 (production)에 도달하는 데 43일이 걸렸습니다. 나는 그 주에 바로 그 프로세스를 폐기했습니다.

기업 브랜딩 규율 (branding discipline). 일관된 메시지, 어조 (tone of voice), 시각적 정체성에 대한 집착은 수익을 전혀 창출하지 못했습니다. 나의 첫 랜딩 페이지는 깨진 영어 헤드라인이 달린 단 하나의 Notion 문서였습니다. 그것은 6개월 후 러시아 에이전시에 4,200달러를 주고 만든 브랜딩된 버전보다 더 높은 전환율 (conversion)을 기록했습니다.

상태 보고 회의 (Status meetings). 예전에는 일주일에 11번의 스탠딩 미팅 (standing meetings)을 운영했습니다. 이 습관은 파나마에서의 첫 3개월 동안 살아남았지만, 작동하는 에이전트를 단 하나도 만들어내지 못했습니다. 모든 반복되는 캘린더 이벤트를 삭제한 것이 이번 커리어 전환 전체에서 가장 레버리지가 높은 (highest-leverage) 결정이었습니다.

가장 위험하고 쓸모없는 기술은 12개월 단위의 전략적 계획(strategic planning)이었습니다. 임원들은 확신을 가지고 3개년 로드맵(roadmaps)을 작성하도록 훈련받습니다. 하지만 멀티 에이전트 시스템(multi-agent systems)에서 모든 계획의 반감기(half-life)는 주 단위로 측정됩니다. Groq은 한 분기 만에 가격을 48% 인하했습니다. Claude 3.5 Sonnet은 제가 이전 모델에 맞춰 최적화를 마친 지 단 2주 만에 Opus 2개를 대체했습니다. 한 스프린트(sprint)보다 긴 모든 로드맵은 허구가 되었습니다.

전환 과정에서 구축된 정확한 기술 스택 (Technical Stack)

모든 에이전트는 Oracle Cloud Always Free 티어와 두 개의 유료 Ampere A1 인스턴스 위에서 실행됩니다. 현재 볼륨 기준 총 비용은 월 $380입니다. 라우팅 레이어(routing layer)는 180줄의 Python 코드로 구성되어 있으며, 요청을 Groq Llama-3.1-70B로 보낼지 아니면 Anthropic API를 통해 Claude 3.5 Sonnet으로 보낼지를 11밀리초(milliseconds) 내에 결정합니다. 결정 트리(decision tree)는 토큰 수(token count), 감지된 언어, 가격 문의 여부, 그리고 현재 Groq의 큐 깊이(queue depth)를 사용합니다.

Telegram 및 WhatsApp 에이전트는 Oracle Autonomous JSON Database를 기반으로 구축된 동일한 메모리 레이어(memory layer)를 공유합니다. 각 사용자 대화는 voyage-3에 의해 생성된 벡터 임베딩(vector embeddings)을 포함한 단일 문서로 저장됩니다. p95 기준 검색 지연 시간(retrieval latency)은 34ms입니다. 저는 LangChain이 240ms의 오버헤드(overhead)를 추가한 이후 사용을 중단하고, 이를 JSON 저장소에 대한 직접적인 SQL 쿼리로 교체했습니다.

가장 신뢰할 수 있는 에이전트는 디스커버리 콜(discovery calls)을 예약하는 에이전트입니다. 이 에이전트는 캘린더 가용성을 추출하는 데 94%의 성공률을 보였으며, 지난 90일 동안 187건의 콜을 예약했습니다. 가장 신뢰도가 낮았던 것은 러시아어를 스페인어로 번역하는 에이전트였는데, 일주일 동안 법적 면책 조항(legal disclaimers)을 세 번이나 환각(hallucination) 현상을 일으킨 후 폐기했습니다.

에러 핸들링(Error handling)은 의도적으로 매우 가혹하게 설계되었습니다. p95 지연 시간이 2.8초를 초과하는 모든 에이전트는 라우팅 테이블(routing table)에서 30분 동안 자동으로 제거됩니다. 이 방식은 출시 이후 네 차례나 시스템의 연쇄 장애(cascading failures)를 막아주었습니다.

내가 임원으로서의 공백을 숨기기를 그만둔 이유

처음 11개월 동안 저는 저 자신을 "AI를 배우고 있는 전직 운영자"로 소개했습니다. 그 이면에는 사과하는 마음이 깔려 있었습니다. 기술 중심의 창업자(technical founders)들이 저의 정부 및 기업 배경을 무관하거나, 혹은 더 나쁘게는 오염된 것으로 치부하여 무시할 것이라고 생각했기 때문입니다.

하지만 데이터는 정반대의 결과를 보여주었습니다. 제가 실패한 수치들을 정확히 공개하기 시작하자, 개발자와 기술 중심 창업자들로부터 들어오는 인바운드 리드(inbound leads)가 3.1배 증가했습니다. 과잉 설계된 플랫폼에 낭비된 11,400달러, 첫 10,000달러의 MRR(월간 반복 매출)을 달성하기까지 걸린 19개월, 그리고 월 380달러의 Oracle 인프라 위에서 돌아가는 11개의 프로덕션 에이전트(production agents)와 같은 수치들 말입니다.

그 격차를 데이터로 취급하는 순간, 그것은 더 이상 부채가 아니게 되었습니다. 이제 저에게 메시지를 보내는 전직 임원들은 보통 똑같은 세 가지 질문을 던집니다. 어떻게 위원회(committees)를 없앴는지, 어떻게 월간 비용 소모(monthly burn)를 통제하는지, 그리고 "권한을 가진 사람"에서 "직접 코드를 짜는 사람"으로의 정체성 변화를 어떻게 다루는지에 대한 질문입니다.

마지막 질문에 대한 답이 가장 어렵습니다. 권한은 마약과 같았습니다. 부사장(Deputy CEO)으로서 이메일을 보냈을 때는 세 개의 부서가 움직였습니다. 하지만 파나마에서 새벽 2시에 git 커밋(git commit)을 푸시할 때는, 에이전트가 프로덕션(production) 환경에서 테스트되기 전까지는 아무 일도 일어나지 않습니다. 그 두 상태 사이의 간극이 바로 진짜 작업이 이루어지는 곳입니다.

저는 더 이상 이를 숨기지 않습니다. 숨기는 행위 자체가 제가 버려야 할 마지막 기업적 습관이었기 때문입니다. 제가 월 380달러라는 수치와 일일 4,200회의 세션 수를 공개한 순간, 적절한 사람들이 관심을 갖기 시작했습니다. 그들은 비전만 가진 또 다른 전직 임원을 찾고 있었던 것이 아닙니다. 그들은 대부분의 창업자가 거부하는 제약 조건 속에서도 이미 제품을 출시(shipped)해 본 사람을 찾고 있었습니다.

19개월간의 1인 운영을 통한 구체적인 수치

• 클라우드 및 API 총 지출: $6,840
• 발생 매출: $41,200
• 프로덕션 외 코드에 소비한 시간: 187시간 (모두 4개월 차에 발생)
• 현재 에이전트 가동 시간(uptime): 지난 90일간 99.94%
• 새로운 라우팅 로직(routing logic) 배포 평균 시간: 43분
• 구축 전 삭제된 기능의 비율: 67%
• 기업 직무로 복귀할 뻔한 횟수: 3회 (3, 7, 14개월 차)

세 번째가 가장 아찔했습니다. 한 헤드헌터가 기본급 34만 달러(340k)를 제안하며 Series B 단계의 인프라 기업 COO(최고 운영 책임자) 직책을 제안했습니다. 거절하기 전, 저는 이 결정이 에이전트(agents)들에게 미칠 정확한 영향을 계산하는 데 72시간을 썼습니다. 계산은 간단했습니다. 기업의 연봉을 선택했다면, 제가 이미 보유한 기술적 역량은 전혀 추가하지 못한 채 다음 세 명의 에이전트 배포를 9개월이나 늦추게 될 것이었습니다.

개발자와 기술 창업자들이 얻어야 할 교훈

만약 당신이 임원 경력에서 AI 개발자 경로로의 전환을 고려하고 있다면, 과거의 직책을 자격 증명(credential)이 아닌 제약 조건(constraint set)으로 취급하십시오. 유용한 부분은 새벽 3시에 고장 나는 프로덕션 시스템(production systems)과 맞닥뜨렸을 때 살아남는 것들뿐입니다. 쓸모없는 부분은 다른 사람의 실행이 필요했던 거의 모든 것입니다.

당신이 마땅히 받아야 한다고 생각하는 예산이 아니라, 실제로 감당할 수 있는 예산부터 시작하십시오. 저는 이주 비용을 제외하고 통장에 남은 800달러로 시작했습니다. 그 숫자가 이후의 모든 기술적 결정을 강제했습니다. Oracle Always Free 티어를 사용한 것은 라이프스타일의 선택이 아니었습니다. 그것은 실험을 지속할 수 있게 해준 유일한 옵션이었습니다.

GitHub 스타(stars)나 컨퍼런스 강연이 아닌, 프로덕션 세션(production sessions)으로 모든 것을 측정하십시오. 일일 4,200회의 세션만이 유일하게 중요한 지표입니다. 그 외의 모든 것은 보여주기식(theater)일 뿐입니다.

프로덕션 환경에서 3개월 연속으로 작동하는 코드를 구현했다면, 그 격차를 숨기는 것을 멈추십시오. 흉터(scar tissue)는 다듬어진 서사보다 더 가치 있습니다. 기술 창업자들은 이전의 직함보다 실패의 수치를 더 존중합니다.

전환은 가능합니다. 다만 LinkedIn에 올라오는 이야기들보다 더 느리고, 더 비용이 많이 들며, 더 고립된 과정입니다. 차이점은 그 세 가지 제약 조건을 받아들이는 순간, 업무는 단순해진다는 것입니다. 다음 에이전트를 출시하고, 세션당 비용을 측정하고, 이를 줄이고, 다시 반복하는 것입니다.

— Elena Revicheva · AIdeazz · Portfolio