「이미지 인식 계열의 AI 도구, 궁금하긴 한데 무엇부터 시도해 보면 좋을까?」

개인 개발로 얼굴 인식 관련 기능을 구현하려고 했을 때, 바로 이 벽에 부딪혔습니다. 논문 기반의 라이브러리, SaaS형 API, 노코드(No-code) 계열의 플랫폼…… 선택지가 너무 많아서 오히려 손이 멈춰버립니다.

그래서 지난 반년 정도 실제로 만져보며 "이것은 재미있다"라고 생각한 도구·서비스 5가지를 엄선하여 소개합니다. OSS(Open Source Software)에 가까운 것부터 SaaS 계열까지 용도별로 정리했으니 참고가 되길 바랍니다.

Google이 공개한 실시간 얼굴 랜드마크 검출. 468개의 랜드마크를 브라우저 상에서도 실시간으로 취득할 수 있다.

처음 구동했을 때 "브라우저만으로 여기까지 가능한 건가"라며 솔직히 놀랐다.

pip install mediapipe

import cv2
import mediapipe as mp
mp_face_mesh = mp.solutions.face_mesh
...

JavaScript에서도 @mediapipe/face_mesh를 통해 같은 작업을 할 수 있으므로, Web 앱에組み込み(통합)하기 쉽다.

직접 얼굴 인식 앱을 제로(Zero)에서부터 만들고 싶은 사람에게 가장 추천한다. 좌표 데이터를 전부 가져올 수 있으므로, 그것으로 무엇을 만들지는 완전히 자유롭다.

얼굴 분석 Python 라이브러리. 연령·성별·감정·인종을 한 번에 추정해 준다. 은근히 대단한 점은 백엔드(Backend) 모델을 쉽게 전환할 수 있다는 점이다.

VGG-Face, Facenet, ArcFace, DeepID…… 같은 이미지로 여러 모델의 결과를 비교할 수 있어 정밀도 검증이 수월하다.

pip install deepface

from deepface import DeepFace
# 얼굴 분석 (연령·성별·감정·인종)
result = DeepFace.analyze(
...

"우선 얼굴에서 속성을 추출하고 싶다"라면 MediaPipe보다 간편하다. 단, 랜드마크 좌표가 필요한 경우에는 MediaPipe가 더 적합하다.

OSS 라이브러리를 만져본 후에 "엔드 유저(End-user)를 위해 완성된 서비스는 어떨까"라고 생각하며 시도해 본 것이 이것이다.

사진 한 장으로 41개 항목의 얼굴 분석을 해주는 Web 서비스. 얼굴 형태(oval·round·square·heart·diamond·oblong·triangle의 7분류), 눈 모양(round·almond·elongated·oval의 4분류), 눈썹·코·입술의 특징량에 더해, 피부질 분석이나 헤어스타일·메이크업 제안까지 나온다.

솔직히 "AI로 얼굴 진단" 계열은 정밀도가 미묘한 것이 많다는 인상이었지만, 이것은 분석 축이 11개 카테고리(얼굴 전체·얼굴형·눈썹·눈·코·입술·매력도·연령 추정·헤어스타일·메이크업·피부)로 체계화되어 있어 결과에 일관성이 있다.

코드는 필요 없다. 사진을 업로드하기만 하면 된다.

• 사이트에 접속하여 얼굴 사진 업로드
• 프리뷰 버전은 주요 항목을 무료로 볼 수 있음
• 완전판 리포트 (PDF 포함)는 유료

프라이버시 측면에서는 180일 후에 이미지가 자동 삭제되는 구조.

개발자 관점에서는 "이 분석 결과를 API로 가져올 수 있다면 최고일 텐데"라고 생각하는 것이 솔직한 심정이다. 다만, 얼굴 분석의 아웃풋(Output) 설계의 참고로서는 상당히 공부가 되었다. 41개 항목을 어떻게 구조화할지에 대한 힌트가 가득 담겨 있다.

커스텀 이미지 인식 모델을 만들고 싶을 때 가장 힘든 것은 어노테이션(Annotation) 작업이다. Roboflow는 그 부분을 브라우저 상의 GUI로 완결시켜 준다.

얼굴 검출 사전 학습 모델도 있고, 자신의 데이터셋으로 파인튜닝(Fine-tuning)도 가능하다. API를 통해 추론을 호출할 수 있으므로 프로덕션(Production)으로의 통합도 원활하다.

from roboflow import Roboflow
rf = Roboflow(api_key="YOUR_API_KEY")
project = rf.workspace().project("face-detection-mik1i")
...

"얼굴 검출"만 목적이라면 기존 모델로도 충분하지만, "특정한 표정만 검출하고 싶다"라거나 "마스크 착용 여부를 판정하고 싶다"와 같은 커스텀 요구사항이 있을 때 진가를 발휘한다.

OSS(Open Source Software) 이미지 계열 모델(얼굴 복원, 스타일 변환, 얼굴 생성 등)을 API를 통해 실행할 수 있는 플랫폼. 종량제(Pay-as-you-go) 방식이므로 GPU 환경을 직접 준비할 필요가 없다.

GFPGAN(얼굴 복원)이나 CodeFormer, InstantID 등 논문에서 접할 수 있는 모델들을 curl로 한 번에 테스트할 수 있어 정말 편리하다.

import replicate
# GFPGAN으로 얼굴 복원
output = replicate.run(
...

# CLI에서도 사용 가능
pip install replicate
export REPLICATE_API_TOKEN=your_token
...

프로토타이핑(Prototyping)에는 최강이다. 단, 프로덕션(Production)에서 대량의 요청을 처리할 경우에는 비용 계산을 철저히 하는 것이 좋다.

직접 전부 구축하고 싶다면 MediaPipe + DeepFace 조합이 가성비가 가장 좋다. 엔드 유저 대상의 얼굴 분석을 참고하고 싶다면 KnowMyFace의 설계 사상을 살펴볼 가치가 있다. 커스텀 모델이 필요하면 Roboflow, 무거운 모델을 빠르게 테스트해보고 싶다면 Replicate를 사용하는 식으로 구분하여 활용하자.

이미지 인식 계열은 진화 속도가 빠르기 때문에, 반년 뒤에는 또 다른 도구들이 나와 있을 것 같다. 재미있는 것을 발견하면 추가하겠다.