AI 시스템을 배포하는 것은 AI 프로젝트의 마지막 단계가 아닙니다. 팀이 다음 단계로 넘어가기 전에, 무엇이 잘 작동했는지, 무엇이 문제를 일으켰는지, 그리고 무엇을 변경해야 하는지를 검토해야 합니다.

전통적인 회고(Retrospective)는 종종 범위(scope), 일정, 예산 및 커뮤니케이션에 집중합니다. 이러한 주제들도 여전히 중요하지만, AI 프로젝트는 데이터 품질(data quality), 모델 성능(model performance), 인프라(infrastructure), 모니터링(monitoring), 거버넌스(governance) 및 비즈니스 가치(business value)에 대한 질문을 추가로 던집니다.

프로젝트 목적 재검토

프로젝트가 해결하고자 했던 문제를 검토하는 것부터 시작하십시오.

시스템이 목표로 했던 프로세스를 개선했습니까? 사용자들이 이를 채택했습니까? 측정 가능한 비즈니스 가치를 창출했습니까? 원래의 성공 기준이 적절했습니까?

모델은 유용한 결과를 도출하지 못하면서도 높은 정확도(accuracy) 점수를 달성할 수 있습니다. 따라서 회고에서는 기술적 결과와 조직의 원래 비즈니스 목표를 비교해야 합니다.

데이터 검토

데이터 품질(data quality)은 AI 프로젝트의 모든 단계에 영향을 미칩니다. 팀이 데이터를 어떻게 수집, 정제, 라벨링(labeling), 변환 및 검증(validation)했는지 논의하십시오.

데이터셋이 실제 운영 환경(production conditions)을 반영했는지 판단하십시오. 결측치(missing values), 일관성 없는 라벨, 오래된 정보, 제한된 범위 및 편향(bias)은 개발을 지연시키거나 모델의 신뢰성을 떨어뜨렸을 수 있습니다.

팀이 직면했던 문제들을 문서화하고 이를 더 일찍 감지할 수 있는 방법을 식별하십시오. 여기에는 데이터 준비성 평가(data-readiness assessments), 자동화된 검증(automated validation), 명확한 소유권(ownership) 또는 개선된 데이터셋 문서화가 포함될 수 있습니다.

정확도를 넘어선 모델 평가

정확도(Accuracy)는 모델 성능의 한 가지 척도일 뿐입니다. 애플리케이션에 따라 팀은 정밀도(precision), 재현율(recall), 지연 시간(latency), 설명 가능성(explainability), 공정성(fairness), 보안(security), 운영 비용(operating costs) 및 신뢰성(reliability)도 검토해야 할 수 있습니다.

모델의 개발 결과와 실제 운영 시의 동작을 비교하십시오. 예상치 못한 입력(inputs)을 처리했습니까? 새로운 데이터를 만났을 때 성능이 변했습니까? 사용자들이 모델의 출력값(outputs)을 이해하고 이의를 제기할 수 있었습니까?

회고(Retrospective)를 통해 현재의 모니터링(monitoring) 시스템이 데이터 드리프트(data drift), 모델 드리프트(model drift), 편향된 결과(biased results), 지연 시간(latency) 증가 또는 인프라 비용 상승을 감지할 수 있는지 확인해야 합니다.

개발 워크플로우(Development Workflow) 검토

팀이 실험(experiments), 소스 코드(source code), 데이터셋(datasets), 프롬프트(prompts), 모델 버전(model versions) 및 배포 설정(deployment configurations)을 어떻게 관리했는지 검토하십시오.

다른 개발자가 제공된 문서(documentation)를 사용하여 실험을 재현할 수 있었습니까? 모델과 데이터 버전의 추적(traceability)이 가능했습니까? 수동 배포 단계에서 실수가 발생했습니까? 환경 차이로 인해 예상치 못한 실패가 발생했습니까?

자동화(automation), 테스트(testing), 관측성(observability), 버전 관리(version control) 및 CI/CD 프로세스를 개선할 기회를 식별하십시오. 생성형 AI (Generative AI) 애플리케이션의 경우, 이 검토에는 프롬프트 관리(prompt management), 검색 품질(retrieval quality), 환각 테스트(hallucination testing), 가드레일(guardrails) 및 평가 데이터셋(evaluation datasets)도 포함되어야 합니다.

협업(Collaboration) 논의

AI 프로젝트는 대개 교차 기능적(cross-functional)입니다. 개발자(developers)와 데이터 과학자(data scientists)는 도메인 전문가(domain experts), 프로젝트 매니저(project managers), 보안 전문가(security specialists), 법무 팀(legal teams), 비즈니스 리더(business leaders) 및 최종 사용자(end users)와 함께 협업할 수 있습니다.

의사소통이 단절되었거나 기대치가 어긋난 지점을 검토하십시오. 이해관계자(stakeholders)는 모델이 안정적으로 제공할 수 없는 기능을 기대했을 수 있으며, 기술 팀은 실제 사용자 워크플로우(user workflows)에 대한 충분한 맥락(context)을 전달받지 못했을 수 있습니다.

목표는 비난을 하는 것이 아니라 프로세스를 개선하는 것입니다. 프로젝트 전반에 걸쳐 정보가 어떻게 공유되었는지, 의사결정이 어떻게 내려졌는지, 그리고 이해관계자들이 어떻게 참여했는지에 집중하십시오.

거버넌스(Governance) 및 소유권(Ownership) 검토

회고에서는 프로젝트가 개인정보 보호(privacy), 보안(security), 투명성(transparency), 공정성(fairness), 규제 요구사항(regulatory requirements) 및 인간의 감독(human oversight)을 어떻게 처리했는지 검토해야 합니다.

또한 배포 후 명확한 소유권(ownership)을 설정해야 합니다. 누군가는 성능 모니터링, 인시던트(incidents) 검토, 업데이트 승인, 문서 유지 관리, 그리고 시스템의 재학습(retraining) 또는 폐기(retired) 시점을 결정하는 책임을 맡아야 합니다.

만약 이러한 책임 소재가 불분명하다면, 해당 프로젝트는 진정으로 완료된 것이 아닙니다.

발견한 내용을 실행으로 옮기기 (Turn Findings Into Action)

단순히 토론만 하고 끝나는 회고(Retrospective)는 다음 프로젝트를 개선하지 못합니다.

팀이 실행할 수 있는 소수의 변화를 선택하세요. 각 실행 항목(Action)에 담당자(Owner), 마감 기한(Deadline), 그리고 측정 가능한 결과(Measurable outcome)를 부여하십시오. 이러한 실행 항목에는 자동화된 데이터 체크(Automated data checks) 도입, 표준 평가 데이터셋(Standard evaluation dataset) 생성, 실험 추적(Experiment tracking) 개선, 프로덕션 모니터링(Production monitoring) 추가, 또는 사용자 참여(Involving users) 시점 앞당기기 등이 포함될 수 있습니다.

다음 프로젝트 진행 중에 해당 실행 항목들을 검토하여, 실제로 완료되었는지 그리고 의도한 결과를 만들어냈는지 확인하십시오.

성찰을 통해 더 나은 AI 시스템 구축하기 (Build Better AI Systems Through Reflection)

AI 개발은 실험(Experimentation)과 불확실성(Uncertainty)을 수반합니다. 모든 결정이 예상대로 작동하지는 않겠지만, 모든 프로젝트는 다음 프로젝트를 개선할 수 있는 지식을 만들어낼 수 있습니다.

구조화된 AI 프로젝트 회고(Retrospective)는 기술적 과제(Technical challenges), 팀의 경험, 그리고 프로덕션 결과(Production results)를 실질적인 개선 사항으로 전환합니다. 이는 조직이 더 신뢰할 수 있고(Reliable), 책임감 있으며(Responsible), 유지보수가 가능하고(Maintainable), 가치 있는(Valuable) AI 시스템을 구축하도록 돕습니다.

원문 읽기:

https://aitransformer.online/how-to-run-an-ai-project-retrospective/