【칼럼】현장에서 실제로 경험하며 알게 된 AI 정밀도를 높이는 것의 어려움

이번에는 해설 기사가 아니라, 칼럼적인 내용입니다

AI의 정밀도(Accuracy)를 높이는 것의 어려움이나, 그 요인이 될 수 있는 현상에 대해 이야기해보고자 합니다

현재 프로젝트에서 저는 신용카드 부정 결제 탐지 AI의 추가적인 정밀도 향상을 실현하기 위해, 다양한 PoC(Proof of Concept, 개념 증명)를 수행하는 업무를 하고 있습니다

지금까지의 경력으로는, AI 전문 학과 졸업 후 클라우드나 드론 프로젝트 등 다양한 프로젝트에 참여해 왔으며, 업무에서의 본격적인 AI 개발은 처음이었습니다

AI 개발에서는 정밀도 향상을 위해

• "좋은 로직(Logic)을 생각하면 정밀도는 올라간다"
• "모델(Model)을 바꾸면 개선된다"
• "데이터 양을 늘리면 정밀도는 올라간다"

라는 낙관적으로 생각하는 부분도 있었습니다

하지만 실제 현장에서 PoC나 정밀도 개선에 참여하면서,

AI의 정밀도 개선은 상상 이상으로 진흙탕 싸움 같은 작업이며, 생각만큼 쉽지 않다

라는 점을 말씀드리고 싶습니다

PoC에서 다양한 로직을 조사하거나 논문 등을 보고 유용해 보이는 로직을 발견하면

• "이 로직, 꽤 효과가 있겠는데"
• "이 전처리(Preprocessing)라면 반드시 개선될 거야"
• "이 특성량(Feature)을 넣으면 정밀도가 올라갈 거야"

라고 생각했지만, 실제 문제로서 현실에서는 전혀 효과가 없는 경우가 대부분이었습니다. 오히려

• 정밀도가 변하지 않는다
• 미묘하게 악화된다
• 일부만 개선되고 전체는 악화된다

라는 경우가 대부분을 차지합니다

데이터 간의 관계성을 특성량화하여 새로운 특성량을 만들면 정밀도가 향상될 것이라고 머릿속으로 생각하고 실제로 구현·검증해 보아도, 아무것도 변하지 않거나 정밀도가 악화되는 일도 드물지 않습니다

로직을 구현하기까지 며칠이 걸리는 경우도 있습니다

실제 현장에서는,

"좋아 보인다"가 아니라 "검증해서 처음 알게 된다"

라는 사고방식이 매우 중요해집니다

가설 → 구현 → 검증 → 실패 → 다시 가설 수립

이 사이클을 몇 번이고 반복하게 됩니다

AI 정밀도 개선에서 필요한 것은 "데이터 양을 늘리는 것"이며, 이것 자체는 틀린 말이 아니지만 현장에서는 **"애초에 데이터를 사용할 수 없는 문제"**가 발생합니다

PoC 단계에서는 다양한 문제가 있습니다

예를 들어

• 데이터 정비 비용
• 라벨링(Labeling) 등의 공수
• 데이터 수집에 드는 수고

등의 이유로 데이터 수가 한정되는 경우가 많습니다

이상적으로는 수백~수천만 개의 데이터를 사용하고 싶어도, 현실적으로 데이터를 수십만 건까지 줄이는 것도 드문 일이 아닙니다

게다가 어렵게 모은 데이터도 전처리 단계에서 더욱 줄어들게 되어, 결과적으로 작성한 특성량이 효과가 있다고 하더라도

• 정말 효과가 있는 것인가, 아니면 우연인가

이 부분의 판단이 어려워집니다

여기서 데이터를 대량으로 수집한다 하더라도 또 다른 벽이 있습니다

그것이 바로,

머신 스펙(Machine Spec) 문제입니다

대량의 데이터를 처리하기 위해서는 반드시 고스펙의 환경이 필요합니다
물론 현장에는 클라우드 환경 등이 있어 그곳에서도 진행할 수 있지만, PoC는 어디까지나 검증 단계이기 때문에 아무래도 스펙 등을 제한받는 경우가 많다고 생각합니다

그렇게 되면 어렵게 모은 데이터라도 전부 사용할 수 없어서

• 샘플링(Sampling)을 한다
• 특성량을 대량으로 만들지 못한다
• 학습 횟수를 줄인다

등의 타협이 필요해집니다

한정된 자원으로 정밀도 향상을 달성해야 한다

라는 어려운 문제와 직면합니다
(현재 절찬리에 직면 중)

그리고 이것이 가장 까다롭습니다
AI는 사용되는 분야에서의 지식, 이른바

도메인 지식 (Domain Knowledge, 업계 지식)

이 필요해집니다

AI 모델 자체를 바꾸는 것보다 "무엇을 특성량으로 갖게 할 것인가"가 중요한 케이스도 존재합니다. 하지만 그 "무엇을 갖게 할 것인가"에 대한 판단이 매우 어렵습니다

예를 들어 금융, 의료, EC(전자상거래), 부정 결제 탐지, 제조업 등 다양한 업계에 따라

"정말로 의미 있는 정보"

가 완전히 달라집니다

AI 엔지니어로서 **"이 특성량은 효과가 있을 것 같다"**라고 생각해도, 해당 업계에 오래 종사해 온 분들 입장에서는

"그것은 실제 운용에서는 의미가 없습니다"

라고 되는 경우가 많습니다

그 반대도 마찬가지로, 현장 담당자가 당연하게 생각하는 정보가 AI에서는 전혀 도움이 되지 않거나, 반대로 매우 효과적인 특성량이 되기도 합니다

즉, AI를 개발해 나가는 과정에서

AI 지식을 가지면서도, 타겟이 되는 업계의 지식을 복합적으로 갖출 필요가 있다

이 조건을 충족해야 비로소 정밀도 향상을 기대할 수 있게 됩니다

고객의 목소리나 담당자와의 커뮤니케이션이 필요하다고 현장에서 강하게 느끼게 되었습니다

AI 정밀도 향상에 있어서는,

"모델을 궁리하면 정밀도는 올라가고, 부족하면 특성량 추가 등으로 보완할 수 있다"

라고 생각했지만, 현실에서는

• 가설이 틀림
• 데이터가 부족함
• 머신 스펙 (Machine Spec)이 부족함
• 도메인 지식 (Domain Knowledge)의 부족으로 의미 있는 특성량 (Feature)을 만들 수 없음

등의 장벽이 연속해서 나타납니다.

다만 그 어려움 속에서도

조금이라도 정밀도 향상이나, 정밀도 향상의 전망을 찾아냈을 때의 가치는 헤아릴 수 없다

고도 느끼고 있습니다.

AI의 정밀도 개선은, 사실 꾸준한 시행착오의 반복입니다.

AI 개발이나 현장에서 실천하고 있는 분들은, 끈기 있게 이것저것 시도해 보시기 바랍니다.

＿＿＿＿＿＿＿

주식회사 ONE WEDGE는 Web 시스템 개발·SES·AI/DX 지원을 수행하는 IT 기업입니다.

생성형 AI를 활용한 업무 효율화나 차세대 시스템 개발에도 주력하고 있으며, 기업의 과제 해결뿐만 아니라 엔지니어 한 명 한 명의 성장에도 진심으로 임하고 있습니다.

또한, 기술은 "혼자 배우는 것"이 아니라 "동료와 함께 성장하는 것"이라고 생각하며, 사내외 커뮤니티 구축에도 힘을 쏟고 있습니다.

＿＿＿＿＿＿＿