3줄 요약

• AI 얼굴 분석의 기술적인 메커니즘(랜드마크 검출(Landmark Detection)・분류 모델(Classification Model)・비율 분석)을 조사하면서, 실제로 도구를 사용해 보았다
• 41개 항목의 측정값이 랜드마크 가이드와 함께 제공되는 도구가 있어, 블랙박스가 아닌 분석 경험을 할 수 있었다
• 정밀도와 한계를 포함하여, 현재의 AI 얼굴 분석이 어디까지 가능한지 정리했다

계기

업무로 컴퓨터 비전(Computer Vision) 관련 조사를 하던 중, 얼굴의 랜드마크 검출(Landmark Detection)에 대해 문득 궁금해졌다. MediaPipe나 dlib를 통해 468점 또는 68점의 랜드마크를 취득할 수 있다는 것은 알고 있었지만, "그로부터 무엇을 도출할 수 있는가"를 체계적으로 시도해 본 적은 없었다.

얼굴 분석 AI 도구를 몇 가지 만져보고 싶어 조사를 시작했다.

AI 얼굴 분석의 기술적인 메커니즘

얼굴 분석은 크게 3가지 단계로 구성된다.

1. 얼굴 검출과 랜드마크 검출

입력 이미지
→ 얼굴 검출 (Bounding Box)
→ 랜드마크 검출 (68점 또는 468점의 좌표)
...

대표적인 라이브러리:

dlib: 68점 랜드마크. 가볍고 널리 사용됨 -
MediaPipe Face Mesh: 468점. Google이 공개하였으며, 브라우저에서도 동작함 -
OpenCV DNN: DNN 모듈로 얼굴 검출이 가능

2. 기하학적인 비율 분석

랜드마크 좌표로부터 얼굴의 각 부위의 비율을 산출한다.

# 의사 코드(Pseudo code): 얼굴의 종횡비를 계산하는 예
def face_ratio(landmarks):
# 얼굴 폭: 좌우 광대뼈 사이 거리
...

얼굴형 분류는 이 비율에 기반한 규칙 기반(Rule-based) 또는 분류 모델(Classification Model)로 수행된다.

종횡비 > 1.3 이고 광대 폭 < 이마 폭 → oblong
종횡비 ≈ 1.0 이고 각진 정도가 적음 → round
턱 라인이 직선적 이고 이마 폭 ≈ 턱 폭 → square

3. 분류 모델

부위별 형상 분류에는 CNN 기반의 모델이 자주 사용된다.

눈 영역을 크롭(Crop)
→ ResNet / MobileNet 등으로 특징 추출(Feature Extraction)
→ 분류 헤드(Classification Head) (round / almond / elongated / oval)
...

학습 데이터의 편향(Bias)이나 촬영 조건에 따른 정밀도 변동이 이러한 종류의 분석에서 가장 큰 과제가 된다.

실제로 사용해 보았다

몇 가지 도구를 사용해 본 것 중에서, KnowMyFace (knowmyface.com)라는 서비스가 기술적으로 흥미로웠다. 사진 한 장으로부터 11개 카테고리·41개 항목의 측정값을 반환해 준다.

11개의 분석 카테고리

기술적으로 좋았던 점

랜드마크 가이드가 시각화된다는 점이 가장 인상적이었다. 많은 얼굴 분석 서비스는 "당신의 얼굴형은 oval입니다"라고만 답하지만, 이 도구에서는 측정에 사용된 랜드마크 좌표가 사진 위에 오버레이(Overlay)된다.

즉, "왜 그런 결론이 나왔는가"를 시각적으로 확인할 수 있다.

일반적인 도구:
입력 → [블랙박스] → "oval"
KnowMyFace:
...

이러한 설명 가능성(Explainability)은 기술자로서 사용했을 때 신뢰감이 느껴진다.

PDF 출력

분석 결과는 PDF 리포트로 다운로드할 수 있다. 41개 항목의 측정값이 목록으로 되어 있어 수중에 남길 수 있다. API가 있다면 더 재미있겠지만, 현시점에서는 웹 기반으로만 제공된다.

프라이버시 설계

얼굴 사진을 다루는 서비스에서는 프라이버시 설계가 중요하다.

확인한 범위 내에서는:

• 업로드된 사진은 공개되지 않음
• 180일 후에 자동 삭제되는 사양
• 무료 프리뷰가 준비되어 있어, 결제 전에 동작 확인 가능

얼굴 데이터 취급은 각 서비스마다 다르므로, 이용 전에 개인정보 처리방침(Privacy Policy)을 확인하는 것은 필수이다.

정밀도와 한계에 대하여

솔직히 말하면 몇 가지 한계도 느꼈다.

촬영 조건에 대한 의존도가 크다. 정면·균일한 조명의 사진과, 측면·그림자가 있는 사진에서 결과가 달라진다. 이는 랜드마크 검출의 정밀도에 기인하는 것으로, 모든 도구에 공통된 과제이다.

분류의 그레이존(Gray zone). 얼굴형이 "oval과 heart"의 중간에 있는 것과 같은 케이스에서는 사진에 따라 결과가 흔들린다. 확신도 점수(Confidence Score)가 표시되면 판단 자료가 되겠지만, 모든 도구가 대응하고 있는 것은 아니다.

문화적 편향 (Cultural Bias). "매력도"와 같은 주관적인 지표는 학습 데이터 (Learning Data)의 분포에 의존한다. 이 점은 이용자가 이해해 두어야 할 전제 조건이라고 생각한다.

향후의 가능성

기술적으로는 다음과 같은 방향이 흥미롭다고 느꼈다.

시계열 분석 (Time-series Analysis): 동일 인물의 경년 변화를 트래킹 (피부 상태 변화 등) -
3D화: 2D 랜드마크 (Landmark)에서 3D 메쉬 (Mesh)로의 확장 (Apple Vision Pro와 같은 공간 컴퓨팅 (Spatial Computing)과의 연계) -
개인화 (Personalization): 얼굴 특징에 기반한 액세서리·안경 추천으로의 응용

MediaPipe의 진화나 온디바이스 ML (On-device ML)의 보급으로, 브라우저만으로 완결되는 실시간 분석도 현실화되고 있다.

요약

AI 얼굴 분석을 실제로 시도해 보면서, "랜드마크 검출 (Landmark Detection) → 비율 계산 → 분류"의 파이프라인이 생각보다 체계화되어 있다는 것을 알 수 있었다. 특히 랜드마크의 시각화나 41개 항목이라는 측정의 망라성은 단순한 엔터테인먼트를 넘어선 분석 깊이를 가지고 있다.

한편으로, 촬영 조건 의존성·분류의 모호함·문화적 편향과 같은 과제는 여전히 남아 있다. "AI가 판정했다"라는 결과를 맹신하기보다는, 메커니즘을 이해한 상태에서 참고치로 사용하는 것이 적절할 것이다.

컴퓨터 비전 (Computer Vision)에 관심이 있는 사람은 자신의 얼굴을 입력 데이터 (Input Data)로 사용하여 테스트해 보면, 랜드마크 검출의 동작을 직관적으로 이해할 수 있으므로 추천한다.

Discussion