Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
직원 3명의 소규모 회사가 AI 에이전트 그룹(CFO, COO, CMO 등)을 구축하여 경영 OS를 구현한 경험을 공유합니다. 의사결정 초안은 AI가 맡고 인간은 최종 판단과 실행에 집중하는 설계 원칙을 강조하며, 실제 업무 적용 시 외부 데이터를 학습 데이터로 활용하는 것이 중요함을 역설합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2026년 10월 기준으로 저희 회사는 직원 3명, 월 매출 약 250만 원 규모의 작은 SES/수주 회사입니다. 그럼에도 불구하고 올해 사내에 CFO, COO, CMO, CEO라는 이름을 붙인 AI 에이전트 그룹을 구축했습니다.
'직원도 세 명밖에 없는데 경영 OS라니 과장 아니야?'라는 질문을 자주 받지만, 이유는 간단합니다. 3명이면 경리, 채용, 프로젝트 수주까지 모든 것을 직접 해야 하므로 어느 것 하나 제대로 할 수가 없습니다. 그래서 '의사결정 초안'을 AI에게 맡기고, 인간은 최종 판단과 실행에만 집중하는 설계로 시작하게 되었습니다.
이 글에서는 그럴듯한 성공담이 아니라, 실제로 부딪혔던 어려움과 거기서 만든 규칙, 그리고 현재의 실태를 적습니다. SES 엔지니어분들이나 프리랜서 엔지니어분들께도 'AI를 어떻게 실제 업무에 통합할 수 있는지', '프로젝트 수주나 커리어에 어떻게 활용할 수 있는지' 참고가 되도록 정리했습니다.
기본은 Claude Code를 사용합니다. 서브 에이전트로는 역할별로 프롬프트와 툴 권한을 분리했습니다. 예를 들어 CFO 에이전트의 정의는 다음과 같습니다(실제 파일을 간소화한 것입니다).
---
name: cfo
description: 월간 원가・현금 흐름・청구 상황을 검토하고, 이상치를 리포팅함
...
COO는 일일 태스크 진행 및 cron/PM2의 실행 상태 모니터링을 담당하고, CMO는 SNS/note/Qiita 게시물 계획과 반응 수치 관리를 맡습니다. CEO는 매주 이 3개 에이전트의 보고서를 요약하여 '이번 주에 해야 할 3가지'로 압축하는 역할을 합니다.
핵심은 모든 에이전트가 제안만 하고 실행은 인간이 승인한다는 설계입니다. 특히 SNS 게시물이나 돈이 움직이는 작업은 자동 실행하지 않습니다. 이것은 고생 끝에 만든 규칙입니다. 다음에서 구체적으로 설명하겠습니다.
가장 큰 배움은 사실 본업과는 다른, 사내에서 진행했던 Kaggle 시뮬레이션 대회(포켓몬 카드 AI 대전)에서 왔습니다. 결과는 6,807팀 중 4,549위였습니다.
돌이켜보니 깨달은 것은, 선별 메커니즘 자체는 상위 팀과 같은 구조였지만, 그 시스템에 넣을 '후보'를 스스로 생성하고 스스로 채점했다는 점입니다. 상위 팀은 다른 팀의 강력한 실전 데이터(공개된 상위 플레이어의 대전 로그, 9만~69만 건 규모)를 학습 데이터로 사용했습니다. 저희는 자체 제작 후보군으로 겨우 98건에 불과했습니다. 자릿수가 3자리 이상 차이 납니다.
이를 그대로 사내 콘텐츠 생성/기획 선정 시스템에 적용했습니다. 구체적으로는:
지금은 콘텐츠 기획을 만들거나/수정하거나/점검할 때마다 '학습 데이터의 출처(외부인지 자체인지)와 건수', '가중치의 출처'를 반드시 적는 규칙을 세웠습니다. 외부 데이터 열이 비어 있는 상태로는 착수하지 않는 것이 현재 사내 규칙입니다.
두 번째 배움은 완전히 저희들의 실수였습니다. cron이나 PM2로 무인 실행 시스템을 만든 후, 다음과 같은 사고가 실제로 발생했습니다.
| 사고 | 원인 | 손실/리스크 |
|---|---|---|
| LLM API 비용의 예상치 못한 과금 | Anthropic API를 직접 호출하는 코드를 종량제 상태로 방치함 | 약 34만 엔 |
| ... | ||
| 여기서 만든 구체적인 규칙은 다음과 같습니다. |
# 운영 환경에서 무거운 연구/검증 태스크를 돌릴 때는 반드시 이걸 거침
~/bin/research-run -t 7200 -j 2 -- python train.py
# 우선순위 최저(taskpolicy -b + nice 19)・병렬 수 2・실행 시간 2시간을 기본으로 함
무인으로 돌아가는 AI 에이전트는 편리하지만, 사람이 보고 있지 않은 사이에 발생하는 사고 패턴은 대개 '연속 게시・과부하・과금 자동 지속' 세 가지로 요약됨을 알게 되었습니다.
솔직히 말해서, 'AI 경영 OS를 도입했더니 매출이 몇 배가 되었다' 같은 이야기는 하지 않습니다. 월 매출 250만 원이라는 규모도 변하지 않았고, 1~2주간의 운영 실적이 나오기 전까지는 '운영 중'이라고 단정하지 않는다는 것이 사내 규칙입니다(구현이 완료되었다고 해서 '작동한다'고 부르지 않으려는 의미입니다).
변화했다고 말할 수 있는 것은 다음과 같은 운영 측면들입니다.
숫자를 부풀리지 않고 '시스템이 바뀌었다'는 것을 쌓아가는 것이 현재 단계입니다.
Zenn에서 『단일 테스트의 생각/사용법』에 대한 에센스를 설명한 글이 일간 트렌드 상위권에 올랐는데, 이 책의 생각은 AI 에이전트의 출력 검증에 그대로 사용할 수 있다고 느꼈습니다.
좋은 테스트 기준으로는 이 책에서 '퇴행(regression)을 감지할 수 있는지', '유지보수 비용이 낮은지', '신속한 피드백을 줄 수 있는지', '오탐지(false positive)가 적은지' 등이 제시됩니다. AI 에이전트의 판단을 검증할 때도 같은 축으로 생각할 수 있습니다.
Qiita에서도 최근에는 AI 태그나 Security 태그 글이 스톡 수를 모으고 있는데, 둘 다 'AI가 내놓은 결과를 어떻게 검증할지', '무인 실행의 안전성을 어떻게 확보할지'라는 맥락은 공통적이며, 이번 저희 회사의 사고 경험과도 상당히 연결되어 있다고 느낍니다.
여기서는 본업인 SES 관점을 조금만 말씀드리겠습니다. SES 엔지니어의 실태로서 다중 하청 구조나 단가 불투명성은 자주 지적되는 이야기지만, AI 에이전트를 다룰 수 있다/무인 운영 사고 패턴을 알고 있다/검증하는 생각을 가지고 있다는 스킬셋은 프로젝트를 선택하는 입장의 자산이 될 수 있습니다.
실제로 프리랜서 프로젝트를 찾는 방법으로 염두에 두면 좋을 시점을 정리했습니다. 저장해 두셨다가 프로젝트를 볼 때 체크리스트로 사용해 주세요.
엔지니어로서의 커리어 가이드라는 의미에서도, 'AI에게 맡길 부분'과 '인간이 검증하는 부분'의 경계를 자신의 언어로 설명할 수 있는 것이 앞으로 프로젝트를 선택하거나 선택받는 데 차이가 될 것 같습니다. 데이터 분석 엔지니어를 목표로 하는 사람들에게도, 모델 성능뿐만 아니라 '학습 데이터의 질과 출처'를 물을 수 있는 시점은 이번 Kaggle 실패에서도 뒷받침되는 실무적인 스킬입니다.
월 매출 250만 원, 직원 3명의 회사가 AI 경영 OS를 만든 이야기는 화려한 성공담이 아니라 '후보 데이터의 출처를 외부로 재조정한', '무인 운영 사고 패턴을 파악하여 규칙화했다'는 소소한 축적입니다. CFO/COO/CMO/CEO라는 AI 에이전트는 의사결정을 빠르게 하는 도구일 뿐, 마법이 아닙니다.
SES/프리랜서 엔지니어로서 다음 커리어나 프로젝트를 생각할 때도, AI 에이전트가 '무엇을 자동화하고', '어디를 인간이 검증하는지'를 파악하는 시각을 가지는 것이 실무에서도 프로젝트 선택에서도 유용하게 작용할 것입니다.
AI 드라이브 스쿨 (AI駆動塾) — AI를 활용한 스몰 비즈니스 구축 방법 학습
Claude Code, OpenClaw, AI 경영 OS의 실전 노하우를 매주 공개하고 있습니다.
월 ¥4,980으로 모든 과거 기사 무제한 열람 가능.
작성자: 합동회사 Radineer (프리랜서 대상 프로젝트 사이트 FreelanceDB 운영)