이것은 흑색종(melanoma)입니다.
Clinical photograph: Invasive melanoma on the ear, under 0.8 mm thick.
Dermoscopic image: Invasive melanoma on the ear, under 0.8 mm thick.
그림 1. 귀에 발생한 침습성 흑색종으로, 두께는 0.8mm 미만이다. 두 LLM 모두 이를 지루성 각화증(seborrhoeic keratosis)이라고 판단했으며 제거해도 된다고 말했다. 하지만 CNN은 이것을 흑색종이라고 진단했다. 왼쪽은 임상 사진이고 오른쪽은 피부 확대경(dermoscopic image) 사진이다. 이미지 출처: MILK10k, MILK 스터디 팀, CC BY-NC.
저는 이 두 이미지를 GPT-6 Astra와 Claude Fable 5.1, 즉 2026년 10월에 사용 가능한 가장 뛰어난 AI 모델 두 가지에게 보여주었습니다. 둘 다 이것이 무해한 사마귀 같은 성장인 지루성 각화증이며 환자는 퇴원해도 된다고 말했습니다. 이후 저는 이 이미지들을 Inception v3의 미세 조정(fine-tuned) 버전에 보여주었습니다. Inception v3는 2015년 Google에서 처음 발표된 컨볼루션 신경망(CNN)이며, 여기서는 공개 피부과 이미지를 이용해 미세 조정되었습니다. CNN은 피부 확대경 보기(dermoscopy view)를 근거로 올바른 답을 도출했습니다.
이것은 제가 세 모델 모두에게 제공한 200개의 생검 확인 병변 중 하나였습니다. CNN은 6가지 가능성 중에서 125개에 대해 정확한 진단명(62%)을 제시했습니다. 반면, 두 최신 LLM은 각각 84개와 85개에 대해서만 진단명을 제시했습니다(각각 42%). 약 20분 동안 미세 조정된 10년 된 네트워크가 피부암 인식 능력에서 이들보다 뛰어났습니다.
테스트 방법
이 병변들은 International Skin Imaging Collaboration을 통해 2025년에 공개된 공공 데이터셋인 MILK10k에서 가져왔으며, 각 병변은 두 번 촬영되었습니다. 하나는 임상 근접 사진(clinical close-up)이고 다른 하나는 피부과 의사가 사용하는 조명이 비치는 확대경을 통해 찍은 피부 확대경 이미지입니다. 저는 조직병리학적으로 모두 확인된 200개의 병변을 무작위로 추출했습니다:
퇴원해서는 안 되는 경우 (100개): 흑색종(melanoma) 30개, 기저세포암(basal cell carcinomas) 25개, 편평세포암(squamous cell carcinomas)(보웬병 포함) 25개, 자외선 각화증(actinic keratoses) 20개.
퇴원해도 안전한 경우 (100개): 양성 모반(benign naevi) 50개, 지루성 각화증(seborrhoeic keratoses) 50개.
양성 병변을 포함하여 모든 병변은 생검되었습니다. 따라서 이들은 진단하기가 더 어렵습니다. 즉, 누군가가 잘라내기로 결정한 모반 하나하나가 임상의에게는 걱정거리가 되는 것입니다.
Clinical photograph: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly.
Dermoscopic image: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly.
75세 남성의 몸통 부위 기저세포암(Basal cell carcinoma). 세 모델 모두 정답을 맞혔다.
Clinical photograph: Invasive melanoma under 0.8 mm thick, with very little pigment. GPT-6 Astra called it a basal cell carcinoma with 95% confidence.
Dermoscopic image: Invasive melanoma under 0.8 mm thick, with very little pigment. GPT-6 Astra called it a basal cell carcinoma with 95% confidence.
두께가 0.8mm 미만이고 색소가 거의 없는 침윤성 흑색종(Invasive melanoma). GPT-6 Astra는 이를 신뢰도 95%의 기저세포암으로 진단했다. Claude Fable 5.1과 CNN은 이를 흑색종으로 진단했다.
Clinical photograph: Seborrhoeic keratosis on the leg. Both models called it an actinic keratosis and said it should not be discharged.
Dermoscopic image: Seborrhoeic keratosis on the leg. Both models called it an actinic keratosis and said it should not be discharged.
다리 부위 지루각화증(Seborrhoeic keratosis). 두 LLM은 이를 광선 각화증(actinic keratosis)으로, CNN은 편평세포암종(squamous cell carcinoma)으로 진단했다: 세 모델 모두 틀렸지만, 세 모델 모두 배제하기보다는 보존했을 것이다.
그림 2. 200개 테스트 병변 중 세 가지 예시. 왼쪽은 임상 사진, 오른쪽은 피부경 검사 이미지이다. 출처: MILK10k, MILK 연구팀, CC BY-NC.
LLM에는 두 이미지와 그 외 아무것도 제공되지 않았으며, 임상의가 사용하는 것처럼 여섯 가지 진단 중 가장 가능성이 높은 것(또는 "불확실"), 신뢰도, 차선책, 그리고 병변을 치료, 생검 또는 추적 관찰 없이 안전하게 배제할 수 있는지 여부를 요청받았다. 두 모델 모두 기본 설정에서 동일한 프롬프트를 받았으며, 어느 것도 사례를 거부하지 않았다.
CNN은 의도적으로 최신 기술 수준이 아니다. 나는 일상 사진으로 사전 학습된 Inception v3를 사용한 다음, 단일 H100 GPU에서 ISIC 아카이브의 68,011개 피부경 및 임상 이미지로 모든 레이어를 미세 조정(fine-tuned)했다. 이 200개의 테스트 병변과 해당 병변 또는 환자의 다른 모든 사진은 학습 전에 데이터셋(검증 세트 포함)에서 제거되었으므로, 모델은 이를 본 적이 없었고, 또한 모델을 선택하거나 임계값을 설정하는 데 사용되지 않았다. 이는 각 병변의 두 이미지를 점수화하고, 피부경 이미지에 가장 큰 가중치를 부여하여 결합한 다음, 동일한 여섯 가지 진단 중 하나를 선택했다.
여러분도 직접 CNN을 테스트해 볼 수 있다. 놀랍게도 이 모델은 WebGPU를 사용하여 휴대폰 브라우저에서 완전히 실행할 만큼 작다. 아무것도 업로드되지 않으며, 무작위 샘플 버튼은 이 동일한 200개 병변 중에서 추출한다.
진단: 62% 대 42%#
그림 3. 동일한 여섯 가지 진단 중에서 선택된 두 LLM과 CNN의 정확한 최우선 진단. 레이블은 해당 조직학적 분류를 가진 병변 수 대비 정답을 보여준다.
CNN이 전반적으로 그리고 대부분의 진단에서 더 자주 정확했다. 두 번째 선택까지 허용했을 때, CNN은 200개 중 173개를 맞혔으며 이는 GPT-6 Astra의 134개, Claude Fable 5.1의 138개에 비한다. 가장 큰 격차는 무해한 병변에서 나타났다: 모반(moles) 50개 중 37개와 지루 각화증(seborrheic keratoses) 50개 중 26개를 인식하여, GPT-6 Astra의 16개 및 Claude Fable 5.1의 13개에 비했고, 기저세포암(basal cell carcinoma)에서는 33개와 6개로 나타났다. 그러나 광선각화증(actinic keratosis)에서는 GPT-6 Astra보다 하나 적었고 두 LLM보다 뒤처졌다.
모델들은 또한 다르게 실패했다. 각 LLM은 선호하는 답변이 있었다: GPT-6 Astra는 실제가 25개인 병변 75개를 기저세포암으로 진단했으며, 여기에는 흑색종(melanomas) 30개 중 14개가 포함되었다. Claude Fable 5.1은 실제가 20개인 병변 53개를 광선각화증으로 진단했다.
CNN의 흑색종 오류는 반대 방향이었다: 잘못 분류한 17개 병변 중, 모반(naevus)을 8개로, 지루 각화증을 6개로 진단했다.
한 표에 정리된 결과#
| GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) | |
|---|
| 정확한 진단 (200개 중) | 84 (42%) | 85 (42%) | 125 (62%) |
| ... | | | |
주의사항#
소수의 경우(Small numbers). 병변 200개는 패턴을 보여주기에 충분하지만 근접한 결과를 순위 매기기에는 부족하며, 30개의 흑색종(melanomas)은 가장 중요한 수치에 광범위한 불확실성을 제공합니다. 각 LLM 케이스는 한 번씩 실행되었으며, 답변은 실행마다 다릅니다.
어려운 경우(Hard cases). 모든 병변은 생검(biopsied)되었습니다. 아카이브의 일반적인 이미지에서 CNN은 배제되어야 하거나 배제되어서는 안 되는 병변을 훨씬 더 잘 구분했습니다 (ROC 곡선 아래 면적 0.96, 여기서는 0.86 대비).
오염(Contamination). MILK10k는 2025년부터 공개되었기 때문에 LLM은 이를 학습 과정에서 볼 수 있었을 것이며, 이는 그들에게 도움이 되었을 것입니다. 하지만 CNN은 확실히 그렇지 못했습니다.
최신 기술이 아님(Not state of the art). Inception v3는 기준선(baseline)입니다. 최신 피부암 진단 AI는 더 많은 데이터로 훈련된 이미지 트랜스포머(image transformers)의 앙상블을 사용하며, 이를 기반으로 구축된 규제 제품들은 상당히 더 나은 성능을 보입니다.
환자 입장에서 질문할 경우#
대신 환자 입장에서, 임상 사진만과 “의사에게 진료를 받아야 하나요?”라는 질문으로 인해, 두 LLM 모두 거의 모든 경우(무해한 병변 포함)에서 의사의 진료를 권고했습니다: 추가로 100개의 생검 증명된 흑색종 중 99개와 98개에 대해 그러했습니다.
결론#
구식 아키텍처를 사용하는 작고 오래된 전문 네트워크가 두 개의 최첨단(frontier) LLM보다 피부 병변을 훨씬 더 잘 인식합니다.
직접 실행해 보기#
케이스, 프롬프트, 모든 LLM 답변 및 채점 코드는 하나의 다운로드에 포함되어 있으며, CNN도 여기에 있습니다.
저는 테스트를 설계하고 임상 판정을 내렸습니다. 분석과 초안은 Anthropic의 코딩 도구인 Claude Code(Claude 모델에서 실행됨)를 사용하여 작성되었으며, 테스트된 두 LLM 중 하나 역시 Anthropic의 것입니다. 채점은 조직학(histology)을 기준으로 스크립트를 통해 수행되었습니다.
이미지는 MILK10k 데이터셋(MILK 연구팀, 국제 피부 이미징 협력)에서 가져왔으며, CC BY-NC 라이선스 하에 사용되었습니다.
