몇 년 이상 SAP를 운영해 온 모든 플랜트에는 여러 코드로 동일한 부품이 존재합니다.
테이퍼 롤러 베어링은 BRG TPR RLLR DBL ROW 510X950으로 한 번 존재하다가, BEARING, TAPER ROLLER, ID 510MM으로 다시 존재합니다. 세 번째 기록에는 제조사 부품 번호만 들어 있습니다. 각각은 자체 재고, 자체 재주문 지점(reorder point), 그리고 자체 구매 이력을 가집니다.
비용은 두 번 구매한 재고로 나타나며, 40개가 다른 코드로 남아 있음에도 불구하고 자재가 품절된 것으로 보고됩니다.
명백한 해결책이 실패하는 이유
명백한 해결책은 퍼지(fuzzy) 텍스트 검색입니다. 비슷하게 보이는 설명을 찾는 것입니다. 이는 쉬운 경우를 포착하지만, 중요한 경우는 놓칩니다.
동일한 베어링에 대한 두 설명은 단어를 전혀 공유하지 않을 수 있습니다. 거의 동일한 두 설명이라도, 보어 직경(bore diameter)의 한 자리 숫자가 변경된 서로 다른 부품일 수 있습니다.
텍스트 유사성(Text similarity) 측정은 설명이 어떻게 작성되었는지를 측정합니다. 중복 감지(Duplicate detection)는 그 부품 자체가 무엇인지를 비교해야 합니다.
효과적인 방법
각 설명을 먼저 구조화된 기록으로 변환하세요. 그런 다음 이 기록들을 비교하세요.
- 텍스트 정규화(Normalise the text). 약어는 확장하고, 모든 단위를 하나의 시스템으로 통일하며, 제조사와 설명 부분을 분리합니다.
- 각 레코드 분류(Classify each record). 베어링(Bearing), 모터(motor), 밸브(valve), 펌프(pump) 등으로 분류합니다. 이 분류가 어떤 사양(specifications)이 중요한지를 결정합니다.
- **핵심 사양 추출(Extract the critical specifications)**을 이름 붙은 필드에 담고, 각 필드는 출처와 신뢰도(confidence)를 가집니다. 확신을 가지고 읽을 수 없는 값은 빈칸으로 남겨두고 플래그 처리하며, 절대 추측하지 않습니다.
- **표준 키 생성(Build a canonical key)**은 핵심 사양만을 이용하여 만듭니다. 동일한 키를 가진 두 레코드는 작성 방식이 달랐더라도 정확히 중복된 것입니다.
- **근접 중복 찾기(Find near-duplicates)**는 공학적 허용 오차 범위 내에서 사양을 비교하여 수행합니다.
- 증거 기반 검토(Review with evidence). 사람에게 두 레코드와 일치한 사양, 그리고 그들을 일치시킨 규칙을 모두 보여줍니다. 시스템이 병합(merge)을 제안하면 사람이 승인합니다.
- 새로운 중복 방지(Stop new duplicates at the door). 새로운 코드 요청이 생성되기 전에, 사양별로 정리된 마스터 데이터와 비교하여 검사합니다.
세 가지 종류의 중복
- **정확한 중복(Exact duplicates)**은 다른 코드로 등록된 동일 부품입니다. 이들을 병합해야 합니다.
- **기능적 중복(Functional duplicates)**은 같은 작업을 수행하는 서로 다른 부품입니다. 구매자가 대안을 볼 수 있도록 연결합니다.
- **조건부 대체품(Conditional substitutes)**은 특정 조건이 충족될 경우에 사용될 수 있는 품목입니다. 이 조건을 보여주어야 합니다. 절대 조용히 대체해서는 안 됩니다.
세 가지를 모두 같은 방식으로 처리하는 것이 정리 작업으로 손상을 일으키는 방식입니다.
신뢰하기 전에 측정하라
90%의 확신을 주장하는 분류기는 자체 데이터 샘플 중 수동 검사를 거친 경우 10번 중 9번은 맞아야 합니다. 아무도 확인하지 않았다면, 그 숫자는 아무 의미가 없습니다.
이 전체 파이프라인(pipeline)은 로컬 모델을 사용하여 자체 인프라에서 실행될 수 있습니다. 자재 데이터는 정리되기 위해 네트워크를 벗어날 필요가 없습니다.
피해야 할 함정들을 포함한 전체 가이드는 https://quantumbeetle.ai/guides/duplicate-material-codes-sap에 있습니다. 이는 Quantum Beetle가 구축한 자재 인텔리전스 시스템인 MIDAS의 기반이 되는 방법론입니다.