40인 규모 기업 내 AI 엔지니어의 업무는 대부분의 CEO가 생각하는 것과 다르다

40인 규모 기업의 CEO들은 흔히 첫 AI 채용 인력이 모델 트레이너(model trainer), 즉 처음부터 맞춤형 신경망(neural networks)을 구축하는 사람일 것이라고 상상합니다. 현실을 점검해 보자면, 그것은 업무의 10% 정도에 불과합니다. 실제 업무는 덜 화려하지만 더 중요합니다. 대부분의 일과는 데이터를 정제하고, 제3자 API를 관리하며, 기술 팀과 비즈니스 이해관계자 사이에서 통역하는 데 소비됩니다. 실제 모델 학습(model training)은 주로 OpenAI나 Anthropic과 같은 벤더 플랫폼(vendor platforms)에서 이루어집니다. 진정한 가치는 이러한 도구들을 실제 운영 프로세스에 연결하는 데 있습니다. 소규모 기업 AI 엔지니어의 전형적인 3주간의 삶을 살펴보겠습니다.

첫째 주: 데이터 플러밍(Data plumbing). 팀은 고객 지원 티켓을 지식 베이스(knowledge base) 문서와 연결해야 합니다. 엔지니어는 Zendesk에서 텍스트를 추출하고, HTML 태그를 제거하며, 검색(retrieval)이 가능하도록 구조화하는 스크립트를 작성하는 데 4일을 보냅니다. 다섯째 날은 에지 케이스(edge cases)를 테스트하는 데 사용됩니다. 티켓에 제목이 없는 경우나 문서에 표가 포함된 경우에는 어떻게 될까요? 모델 학습은 일어나지 않습니다. 단지 입력 파이프라인(input pipeline)이 제대로 작동하는지 확인하는 과정일 뿐입니다.

둘째 주: 벤더 관리(Vendor management). 회사는 요약 기능을 위해 OpenAI의 API를 사용하고 싶어 합니다. 엔지니어는 세 가지 가격 계층을 평가하고, 속도 제한(rate limits)을 테스트하며, API 장애에 대한 모니터링을 설정하고, 서비스가 느려질 때를 대비한 폴백 로직(fallback logic)을 작성합니다. 이들은 API가 기술 전문 용어를 어떻게 처리하는지, 날짜를 환각(hallucinate)하는 경향이 있는지 등 특이 사항을 문서화하는 데 이틀을 보냅니다. 그런 다음 비즈니스 팀이 이를 신경 쓸 필요가 없도록 이 모든 복잡성을 처리하는 래퍼(wrapper)를 구축합니다.

셋째 주: 번역(Translation). 영업 팀은 후속 이메일 초안을 작성하는 도구를 원합니다. 엔지니어는 영업 팀과 함께 3일 동안 앉아 그들의 실제 워크플로우(workflow)—어떤 정보를 포함해야 하는지, 어떤 어조를 사용해야 하는지, 반대 의견을 어떻게 처리하는지—를 이해합니다. 그들은 다양한 시나리오에 매핑되는 프롬프트 라이브러리(prompt library)를 구축한 다음, 영업 담당자가 핵심 세부 정보를 입력하고 초안을 받을 수 있는 간단한 인터페이스를 만듭니다.

진정한 핵심 작업은 모델 자체에 있는 것이 아니라, 출력 결과가 영업 담당자들의 실제 업무 방식과 일치하도록 만드는 데 있습니다. 따라서 이 역할을 위한 인력을 채용할 때는 딥러닝 (deep learning) 전문 지식을 찾지 마십시오. 데이터 파이프라인 (data pipelines)을 구축하고, API 제한 사항을 이해하며, 비즈니스 요구사항을 기술적 요구사항 (technical requirements)으로 변환할 수 있는 사람을 찾으십시오. 최고의 후보자는 ETL 도구, 클라우드 서비스 (cloud services)에 대한 경험이 있고, 비기술적 팀과 협업해 본 경험이 있는 사람입니다. 그들은 특정 접근 방식이 왜 더 느리지만 더 신뢰할 수 있는지, 혹은 누락된 데이터를 어떻게 처리해야 하는지 등 트레이드오프 (trade-offs)를 명확하게 설명할 수 있어야 합니다. 마법은 모델 그 자체에 있는 것이 아니라, 모델이 당신의 무질서한 실제 환경에서 작동하도록 만드는 데 있습니다. 이 글은 SMB (10~100인 규모 기업)가 첫 사내 AI 팀을 구축하도록 돕는 과정에서 작성된 노트의 일부입니다. 만약 귀하의 팀이 이를 검토 중이라면, 댓글을 통해 빠른 피드백이나 질문을 남겨주시기 바랍니다.