셀카로 비전 모델이 알려줄 수 있는 것과 그렇지 않은 것

몇 주 전, 저는 제가 직접 만든 무료 옷장 앱인 Fring에 계절별 컬러 분석 기능을 추가했습니다. 사용자가 셀카를 업로드하면, 그 사람의 컬러 시즌, 언더톤(undertone), 그리고 잘 어울리는 여섯 가지 색상을 알려줍니다. 작은 기능처럼 보일 수 있습니다. 하지만 이 경험을 통해 비전 모델을 사용자 앞에 내놓는 것에 대해 네 가지 교훈을 얻었습니다.

1. 모델이 판단하게 하고, 절대로 상상하게 하지 마라

가장 유혹적인 디자인은 모델에게 모든 것을 요청하는 것입니다: 시즌, 언더톤, 그리고 팔레트까지도요. 하지만 생성된 팔레트는 실행할 때마다 달라질 것이며—매번 그럴듯한 색상이 나오겠지만, 앱의 나머지 부분이 의존할 수 있는 것은 아무것도 없습니다.

그래서 모델은 훨씬 더 작은 질문에 답하도록 합니다:

Judge the face only: skin undertone, hair and eye colour, contrast between them.
Classify into one of the four colour seasons:
spring = warm and light/bright, summer = cool and soft/light,
...

팔레트는 서버에 고정된 표로, 시즌당 여섯 가지 색상으로 구성됩니다. 모델이 분류하고, 코드가 그 분류가 무엇을 의미하는지 결정합니다. 허용된 값 범위를 벗어나는 모든 것은 '읽기 어려운 얼굴'로 처리되며, 사용자에게 더 나은 사진을 요청할 뿐, 자신감 넘치는 오답을 제공하지 않습니다.

2. 열두 계절이 아닌 네 계절만

컬러 분석가들은 종종 열두 가지 시즌(soft autumn, cool summer, deep winter 등)으로 작업합니다. 임의의 실내 조명 아래에서 찍은 휴대폰 셀카로는 그 정도 수준의 디테일을 신뢰성 있게 담아낼 수 없습니다. 화이트 밸런스만으로도 얼굴이 '따뜻한' 것에서 '중립적인' 것으로 바뀔 수 있습니다. 그래서 이 앱은 네 계절과 세 가지 언더톤에 초점을 맞추고, 실제 원단 테스트를 거쳐 확인해야 하는 추정치임을 명확히 밝힙니다. 정확성에 대해 솔직한 기능이 꾸미는 것보다 더 유용합니다.

3. 기능들은 조용히 죽는다

한동안 이 분석은 오래된 비전 마이크로서비스로 불렸습니다. AI가 집의 단일 GPU(사용 중인 Tesla P40에서 llama.cpp 서버를 통해 Qwen3-VL-8B를 실행)로 옮겨오자, 해당 서비스는 작동을 멈췄고 — 색상 분석은 눈에 보이는 오류 없이 그저 모든 사용자에게 '서비스를 사용할 수 없음' 상태가 되었습니다. 저는 이 문제를 직접 모든 기능을 손으로 거치며 찾아냈습니다. 그때 이후로는 모든 모델 호출이 하나의 클라이언트 모듈을 통과하기 때문에, 백엔드 변경이 다시 한 기능을 조용히 고아(orphan) 만들 수는 없습니다.

모델을 집에서 실행하는 또 다른 측면은 다음과 같습니다: 셀카는 메모리에서 처리되며 저장되지 않고, 기기를 벗어나지 않습니다.

4. 결과가 가치를 가지려면 사용되어야 한다

한 번 보는 팔레트는 단순한 호기심거리일 뿐입니다. Fring에서는 저장된 색상이 의상 추천에 활용되고(사용자의 색상과 일치하는 의상이 더 높은 점수를 받음), 쇼핑 어시스턴트가 구매하기 전에 팔레트에 없는 색상을 알려줍니다. 기능이 가치를 얻는 곳은 결과 화면 자체가 아니라, 그 이후의 결정 과정에서 사용자가 자연스럽게 생각하도록 유도(nudge)할 때입니다.

색채 이론 쪽에 관심이 있다면, 더 긴 가이드 글을 작성했습니다: 계절별 색상 분석 (seasonal color analysis), 4계절 및 12계절과 무료 자가 테스트.

AI의 도움을 받아 작성됨.