Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 피부암 진단과 같은 전문 분야에서 최신 LLM의 만능성을 비판하며, 특정 임무에 특화된 CNN이나 전용 분류기가 오히려 더 높은 정확도를 보일 수 있음을 지적합니다. 대규모 범용 모델보다 좁은 영역에 집중한 전문 모델이 실제 의료 현장에서는 더 신뢰할 수 있다는 기술적 논의가 핵심입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Jev식 의사결정 모델에 사람들이 열광하는 이유를 잘 모르겠음. 대규모로 쓸 거라면 신경망이든 베이지안 모델이든 적합한 구조의 전용 분류기가 훨씬 정확할 텐데, LLM 덕분에 이런 모델을 만드는 비용도 거의 0에 가까워짐.
LLM을 직접 쓰기보다, 필요한 일을 실제로 잘하는 도구를 LLM으로 만들면 됨.
대부분의 에이전트형 소프트웨어가 결국 도달할 모습이라고 봄. AI로 소프트웨어를 만들고, 처리하기 까다로운 부분에만 분류기나 LLM을 완충 장치처럼 넣는 형태임.
동의하지만, 전형적인 지식의 저주도 작용하는 듯함. LLM에 분류기를 만들고 학습시키라고 요청하려면 적절한 용어부터 알아야 함. 우리에게는 익숙해도 일반인이 배우기는 그리 쉽지 않고, 사람들은 귀찮은 일을 피하려 함.
모델을 학습하려면 라벨이 붙은 학습 데이터가 필요하지만, LLM은 프롬프트만 있으면 시작할 수 있음. 좋은 전용 모델이 더 뛰어나겠지만, LLM으로 구현하는 쪽이 훨씬 빠르고 쉬운 것이 일반적인 절충 관계임.
FTP 서버가 있으니 Dropbox는 필요 없다는 얘기와 비슷함. 사람들이 분류기를 배우고 설정하는 데 얼마나 인내심을 쓸지 너무 쉽게 여기는 듯함. Jev는 API 호출 한 번이면 되지만, 좋은 분류기를 학습시키기는 어려움.
맞춤형 분류기에는 상당한 엔지니어링 비용이 들어감. 기성 API가 훨씬 간편한데, 결과가 충분히 좋다면 굳이 따로 만들 이유가 있을까?
일반 사진으로 사전 학습한 Inception v3를 ISIC Archive의 피부경·임상 이미지 68,011장으로 미세 조정하고, 시험 병변 200개와 같은 병변·환자의 사진을 학습·검증 데이터에서 제외했다는 건 결국 벤치마크 점수 최적화에 불과함.
특정 데이터셋에 맞춰 최적화한 모델은 그렇지 않은 모델을 이기겠지만 취약할 수밖에 없음. 작은 모델도 학습·시험 데이터를 나눠 미세 조정하면 특정 데이터셋에서는 이길 수 있지만, 실제 현장의 이미지는 학습 영역 밖이라 잘 일반화되지 않음.
보통은 이를 “벤치마크 편법 공략”이라고 부르지만, 인용한 내용에는 그런 요소가 전혀 없음. 분류기를 학습하고 평가하는 정상적인 절차임.
취약한지는 다른 데이터셋에서 시험하고 민감도와 특이도를 확인해야 알 수 있음. 애초에 현장의 온갖 이미지를 처리할 필요가 없다면 좁은 영역에 맞춰 학습한 모델에도 문제가 없음.
피부암 AI 초창기에는 실제로 이런 문제가 있었지만, 지금은 상당 부분 해결됨. 최신 모델은 비전 트랜스포머 앙상블과 훨씬 많은 학습 이미지를 사용하며, 임상시험에서도 정확성이 입증됨. 예로 https://skin-analytics.com/이 있으며, 나와는 아무 관계도 없는 곳임.
왜 이것이 벤치마크 점수만 노린 최적화인지 설명해 줄 수 있을까?
10년 된 CNN이 더 뛰어나다는 결과에 놀랐다는 것이 오히려 놀라움. 오래된 구조의 작은 특화 신경망이 최첨단 LLM 두 개보다 피부 병변을 잘 인식하는 건 당연함. 매개변수 3,000만 개짜리 Katago는 탐색을 한 번만 해도 바둑에서 인간을 뛰어넘지만, 최첨단 LLM은 매개변수가 1만 배 넘게 많아도 바둑을 잘 두지 못함. 대신 바둑을 잘 두는 신경망을 만드는 일을 돕는 등 다른 일에 능함.
이 글을 살펴보다 SkinGPT-4를 발견함. Nature 논문에 따르면 150개 사례에서 진단의 80.63% 를 피부과 전문의가 정확하거나 관련성 있다고 평가했으며, 이는 이 글의 CNN보다 높은 수치임.
CNN과 GAN이 처음 인기를 끌 때 정말 놀랐던 기억이 남. 피부암 진단에서는 트랜스포머 구조가 더 유망하다고 봄.
여기 사용한 CNN 구조는 확실히 구식임. LLM과 비교할 기준선으로 삼았고, 시연용으로 휴대전화 브라우저의 WebGPU에서 실행할 만큼 작아서 선택함. 최신 접근법은 비전 트랜스포머 앙상블을 쓰며 임상시험에서도 정확성이 입증됨.
곱셈과 나눗셈은 계산기도 LLM보다 잘함.
많은 사람이 LLM을 만능 도구라고 믿는 세상에서는 현실을 확인시켜 주는 일이 언제나 유익함.
그런데 동료들에게서는 점점 더 “그냥 LLM에 물어보면 되는데 왜 새 모델을 학습시키나?”라는 질문을 받게 됨. 일부 연구자는 분야나 과제가 무엇이든 답을 항상 LLM으로 정함.
그래서 도구 호출을 만든 것임. 간단한 계산은 도구에 맡기도록 LLM이 판단하면 됨.
그 비유는 타당하지만, 최근의 수학 성과와 공개 인터넷에 피부암 학습 이미지가 수만 장 있다는 점을 고려하면 LLM의 성능이 훨씬 나을 것으로 기대했음.
특화 모델이 범용 모델을 이기는 건 그리 놀랍지 않지만, 이것만으로는 LLM의 진단 잠재력을 충분히 보지 못하는 듯함. 진료 기록도 함께 넣으면 어떨까? 모델이 환자에게 물어볼 질문을 만들고 답변까지 반영하면 어떨까? 이미지가 이상적인 예시가 아니라 문신처럼 학습 분포를 벗어난 내용을 담고 있으면 어떨까?
결국 더 큰 벡터 집합에 더 많은 차원을 추가하자는 뜻일까?
충분한 데이터로 학습·시험 집합을 나누고 특정 목적의 모델을 미세 조정해 범용 모델을 이겼다는 이야기와 같음. 과제 정의와 데이터가 적절하다면 가능한 것이 당연함.
문제는 특화 모델이 극도로 취약하다는 데 있음. 조명, 확대 배율, 피부색을 바꾸거나 피부 병변 대신 고양이 사진, 혹은 더 위험하게는 잘못 정렬된 이미지를 주면 완전히 망가짐.
새로운 이야기가 아니며, 좁은 용도의 분류기가 거의 10년 전에 정점을 찍고 대규모 범용 트랜스포머 모델이 주류가 된 이유이기도 함. 데이터 분포가 항상 같고 드문 사례나 이상치가 없다면 Inception이나 ResNet도 훌륭하지만, 그런 과제는 극히 드묾.
대체로 그럴듯한 답을 내놓는다는 이유만으로 LLM을 특정 용도에 맞춰 만든 모델처럼 취급해서는 안 됨. 최근에야 알게 된 사실도 아님.
자동화하기 어려운 과제에서 최첨단 LLM의 능력을 예측하려면 두 가지를 보면 됨. 코드처럼 사전 학습 데이터에 유난히 많이 등장하는 과제인지, 코딩처럼 강화학습으로 해당 과제를 별도 후속 학습했는지임.
둘 중 하나라도 해당하면 아주 잘할 것으로 기대할 만함. 둘 다 아니라면, 기껏해야 그 분야 책 몇 권을 읽고 허풍에 능한 평균적인 사람 정도로 기대하는 편이 나음.
“관련 책 몇 권을 읽고 허풍에 능한 평균적인 사람”이라면 고소득 사무직 상당수가 해당하는 듯함.
우리 개는 아무 도움 없이 100m를 달리면 세계 최고의 연구자들보다 빠름.
목표가 100m 달리기라면 연구자들이 다른 분야에서 아무리 뛰어나도 개를 쓰는 편이 낫다는 뜻임.