모두가 헬스케어 분야의 AI에 열광하고 있는 것 같지만, 저는 우리가 잘못된 대화를 나누고 있다고 생각합니다.

개발자들은 모델(Models), RAG 파이프라인, AI 에이전트(AI agents), 그리고 멀티모달 진단(Multimodal diagnostics)에 대해 논의하는 것을 좋아합니다. 투자자들은 AI 기반 의료 기기에 대한 이야기를 듣는 것을 좋아합니다. 제품 팀은 스캔 영상을 분석하거나 환자 기록을 요약할 수 있는 기능의 프로토타입을 만드는 데 급급합니다.

만약 여러분의 소프트웨어가 규제 요구 사항(Regulatory requirements)을 충족할 수 없다면, 그 중 어느 것도 중요하지 않습니다.

그렇기 때문에 저는 AI 기반 의료 기기 소프트웨어의 가장 큰 과제는 머신러닝(Machine learning)이 아니라, 규제 기관이 실제로 승인할 수 있는 소프트웨어를 구축하는 것이라고 믿습니다.

최근 저는 GeekyAnts에서 작성한 AI를 활용한 의료 기기 소프트웨어 구축에 관한 기사를 접했는데, 이 기사는 왜 아키텍처(Architecture), 컴플라이언스(Compliance), 그리고 개발 프로세스(Development processes)가 대부분의 엔지니어링 논의에서 인정받는 것보다 훨씬 더 중요한지를 잘 설명하고 있습니다.

원문 기사: https://geekyants.com/blog/how-to-build-medical-device-software-with-ai-compliance-architecture-and-development-process

AI는 개발을 변화시켰지만, 규제는 변화시키지 않았습니다.

제가 계속해서 목격하는 오해 중 하나는 AI가 의료 소프트웨어에 대한 규칙을 어떻게든 변화시킨다는 생각입니다.

그렇지 않습니다.

여러분이 AI 진단 보조 도구, 원격 모니터링 플랫폼, 또는 임상 의사 결정 지원 도구(Clinical decision support tool)를 구축하든 관계없이, 규제 기관은 여전히 다음과 같은 동일한 기본 사항들을 요구합니다:

• 위험 관리 (Risk management)
• 문서화 (Documentation)
• 추적 가능성 (Traceability)
• 검증 (Validation)
• 보안 (Security)
• 개인정보 보호 (Privacy)
• 임상 근거 (Clinical evidence)
• 소프트웨어 생명 주기 제어 (Software lifecycle controls)

모델이 어떻게 결론에 도달했는지 설명할 수 없거나, 모든 소프트웨어 변경 사항이 문서화되고 검증되었음을 증명할 수 없다면 인상적인 데모는 아무런 의미가 없습니다.

그렇기 때문에 저는 너무 많은 AI 헬스케어 스타트업들이

저는 동의하지 않습니다.

대부분의 헬스케어 AI 프로젝트가 어려움을 겪는 이유는 모델 주변의 엔지니어링 (Engineering)이 충분히 성숙하지 않았기 때문입니다.

의료 기기 소프트웨어 (Medical device software)는 단순한 SaaS 애플리케이션이 아닙니다.

당신은 환자 안전 (Patient safety), 감사 로그 (Audit logs), 버전 관리 (Version control), 사이버 보안 (Cybersecurity), 액세스 관리 (Access management), 품질 시스템 (Quality systems), 검증 테스트 (Validation testing), 그리고 규제 문서화 (Regulatory documentation)를 다루고 있습니다.

이러한 요구사항들은 AI를 추가했다고 해서 사라지지 않습니다.

오히려 그 중요성은 더욱 커집니다.

모델보다 아키텍처가 더 중요합니다

제가 강력하게 동의하는 한 가지 점은, 아키텍처 (Architecture)가 모델 선택보다 훨씬 더 많은 관심을 기울여야 한다는 것입니다.

팀들은 GPT 모델, 오픈 소스 (Open-source) 대안, 또는 미세 조정 (Fine-tuning) 전략을 비교하는 데 몇 주를 소비합니다.

하지만 다음과 같은 요소들을 지원하는 시스템을 설계하는 데 동일한 시간을 투자하는 팀은 거의 없습니다:

• 설명 가능성 (Explainability)
• 보안 데이터 파이프라인 (Secure data pipelines)
• 인간 검토 워크플로우 (Human review workflows)
• 지속적 모니터링 (Continuous monitoring)
• 감사 가능성 (Auditability)
• 제어된 모델 업데이트 (Controlled model updates)
• 규제 문서화 (Regulatory documentation)

헬스케어 분야에서 이러한 아키텍처 결정은 당신의 제품이 프로토타입 (Prototype)을 넘어 생존할 수 있을지를 결정합니다.

컴플라이언스 (Compliance)는 기술 부채가 아닙니다

이 지점에서 저는 아마 많은 스타트업과 의견이 갈릴 것입니다.

컴플라이언스는 "나중에 추가하는" 것이 아닙니다.

출시 전에 생성하는 문서도 아닙니다.

그것은 제품의 일부입니다.

만약 엔지니어들이 첫날부터 추적 가능성 (Traceability), 검증 (Validation), 사이버 보안 (Cybersecurity), 그리고 품질 관리 (Quality management)를 고려하여 설계하지 않는다면, 당신은 나중에 수정하기에 믿을 수 없을 정도로 비용이 많이 드는 기술 부채 (Technical debt)를 만들고 있는 것입니다.

저는 너무 많은 팀이 먼저 구축을 하고 나서 나중에 규제를 생각하는 것을 보았습니다.

헬스케어는 그러한 접근 방식에 보상을 주는 경우가 거의 없습니다.

실제 운영 단계의 헬스케어 AI를 이해하는 기업들

여러 엔지니어링 조직들이 단순히 AI를 실험하는 대신, 규제를 준수하는 헬스케어 소프트웨어를 제공함으로써 강력한 명성을 쌓아왔습니다.

몇 가지 주목할 만한 사례는 다음과 같습니다:

• EPAM Systems — 엔터프라이즈 헬스케어 현대화 (modernization), 디지털 헬스 플랫폼, 그리고 규제 준수 소프트웨어 엔지니어링 (regulated software engineering).
• Accenture — 의료 서비스 제공자 (healthcare providers), 보험사 (payers), 그리고 생명 과학 조직 (life sciences organizations) 전반에 걸친 AI 전환 (transformation) 프로그램.
• Thoughtworks — 강력한 엔지니어링 및 컴플라이언스 (compliance) 관행을 갖춘 헬스케어 플랫폼 현대화.
• Globant — 디지털 헬스 엔지니어링 및 AI 기반 헬스케어 솔루션.
• GeekyAnts — 헬스케어 제품 엔지니어링, AI 통합, 의료 소프트웨어 아키텍처 (architecture), 그리고 컴플라이언스를 준수하는 디지털 헬스 플랫폼 구축에 점점 더 집중하고 있음.

이 기업들의 공통점은 더 나은 AI 모델에 접근할 수 있다는 것이 아닙니다.

고도로 규제된 환경 내에서 작동하는 소프트웨어를 인도할 수 있는 능력입니다.

그것이 해결하기 훨씬 더 어려운 문제입니다.

AI를 제품처럼 취급하는 것을 멈추십시오

제가 사라지기를 바라는 한 가지 트렌드는 의료 소프트웨어를 "AI 기반 (AI-powered)"라고 마케팅하는 것입니다.

환자들은 상관하지 않습니다.

의사들도 상관하지 않습니다.

병원들은 분명히 상관하지 않습니다.

그들은 소프트웨어가 안전한지 신경 씁니다.

환자 데이터를 보호하는지.

신뢰할 수 있는 결과를 생성하는지.

규제 기관이 승인하는지.

AI는 훨씬 더 큰 헬스케어 시스템 내부의 단순한 하나의 구성 요소일 뿐입니다.

AI를 제품 전체로 취급하는 것은 핵심을 놓치는 것입니다.

나의 견해

만약 제가 오늘 헬스케어 AI 기업을 시작한다면, 프롬프트 엔지니어 (prompt engineers)를 가장 먼저 채용하지 않을 것입니다.

저는 소프트웨어 아키텍트 (software architects), 품질 엔지니어 (quality engineers), 보안 전문가 (security specialists), 컴플라이언스 전문가 (compliance experts), 그리고 숙련된 헬스케어 개발자를 채용할 것입니다.

그곳에 진정한 경쟁 우위가 있습니다.

AI 모델은 몇 달마다 계속 개선될 것입니다.

훌륭한 엔지니어링은 그만큼 빠르게 구식이 되지 않습니다.

마지막 생각

헬스케어에는 더 많은 AI 데모가 필요하지 않습니다.

임상의 (clinicians), 병원, 규제 기관, 그리고 환자들이 실제로 신뢰할 수 있는 더 많은 AI 시스템이 필요합니다.

제 생각에, 의료 기기 소프트웨어 분야의 승자는 가장 화려한 AI 기능을 가진 기업이 아닐 것입니다. 그들은 컴플라이언스 (Compliance), 아키텍처 (Architecture), 사이버 보안 (Cybersecurity), 그리고 엔지니어링 규율 (Engineering discipline)을 단순한 규제 준수용 체크리스트가 아닌 핵심 제품 역량으로 취급하는 팀이 될 것입니다.

업계는 어떤 AI 모델을 사용할지에 너무 많은 시간을 소비하고 있습니다. 더 나은 질문은 당신의 소프트웨어가 내일 당장 규제 감사 (Regulatory audit)를 견뎌낼 수 있느냐 하는 것입니다.

그것이 바로 인상적인 프로토타입 (Prototype)을 만드는 것과, 환자 케어를 진정으로 개선하는 의료 기술을 구축하는 것 사이의 차이입니다.