모바일 앱에 실제 AI 에이전트를 출시하며 느낀 점: AI 에이전트 개발사를 선택하는 것은 모델을 선택하는 것보다 더 중요합니다

3개월간의 작업 끝에 지난달 저희 모바일 앱에 에이전트 (Agent) 기능을 출시했습니다. 제가 이 글을 쓰는 이유는, 지난 1월 제가 고민했던 "직접 만들 것인가 아니면 전문 업체에 맡길 것인가"라는 질문에 대해 정직한 글이 거의 없기 때문입니다.

맥락을 설명하자면, 저희는 프리랜서 계약자(개발자가 아닌 일반인)를 위한 생산성 도구입니다. 에이전트는 사용자의 캘린더를 읽고, 미결제 인보이스를 가져오며, 후속 조치나 일정 변경을 제안합니다. 사용자는 원터치로 승인만 하면 됩니다. 이는 채팅이 아닌 작업 완료 (Task-completion) 중심이며, OpenAI의 오퍼레이터 (Operator) 패턴에 더 가깝습니다.

"AI"를 한다고 말하는 대부분의 에이전시는 OpenAI의 채팅 API (Chat API)를 통합하고 UI에 채팅 버블을 넣는 것을 의미합니다. 그것은 에이전트 작업이 아닙니다. 에이전트 작업은 도구 사용 (Tool use), 상태 관리 (State management), 오류 복구 (Error recovery), 권한 모델 (Permission models), 그리고 행동하기 전에 사용자에게 언제 물어볼 것인가에 대한 UX (사용자 경험)를 다루는 것입니다. 만약 업체의 포트폴리오에 실제로 어떤 동작을 수행하는 것이 없다면, 그들은 이것을 구축해 본 적이 없는 것입니다.

업체를 가장 빠르게 걸러낼 수 있었던 질문은 이것이었습니다: "사용자를 대신하여 행동을 수행하고, 그 행동이 실패했을 때 복구하는 기능을 구축해 본 적이 있습니까?" 대부분은 구체적인 예시를 들어 답변하지 못했습니다.

5곳의 견적은 35,000달러에서 180,000달러 사이였습니다. 저희는 이전에 에이전트 기능을 한 번 구축해 본 경험이 있고, 그 과정에서 배운 점에 대해 솔직하게 말해준 업체와 94,000달러에 계약했습니다. 일정은 11주였으며, 원래 범위는 10주였습니다. 추가된 1주는 저희가 완전히 명시하지 못했던 오류 복구 (Error-recovery) 경로 때문이었습니다.

OpenAI 파트너 태그는 중요한 필터가 아니었습니다. 진짜 신호는 엔지니어가 실제로 에이전트 작업을 출시해 본 적이 있는지 여부였습니다. 모델이 잘못된 도구를 선택하는 경우를 어떻게 처리할지 물었을 때, 조사(Discovery)를 담당하던 엔지니어는 10초가 아닌 10분 동안 답변했습니다. 일반적인 AI 전문 지식이 아니라, 구체적인 도구 사용 (Tool-use) 설계 능력이었습니다.

권한 모델 (Permission model)을 초기에 설정하십시오. 에이전트가 묻지 않고 수행할 수 있는 권한은 어디까지인가? 이것은 기술적인 질문처럼 들리지만, 사실 제품(Product)에 관한 질문입니다. 구축하기 전에 범위를 정하십시오.

submitted by /u/BreadfruitOk885 to r/OpenAI
[link] [comments]