효율적인 개체명 인식(NER)을 위한 SpanDec 프레임워크 제안

요약

본 논문은 산업 환경의 엄격한 지연 시간 및 처리량 요구사항을 충족해야 하는 개체명 인식(NER) 분야의 효율성 문제를 해결하는 SpanDec라는 새로운 프레임워크를 제안합니다. 기존의 스팬 기반 방법론들은 많은 후보군을 생성하고 각 후보군을 처리하는 과정에서 추론 비용이 과도하게 증가하여 대규모 배포에 한계가 있었습니다. SpanDec는 이러한 병목 현상을 개선하기 위해, 스팬 표현 간의 상호작용 계산을 트랜스포머의 최종 단계(final transformer stage)로 옮기고, 전반적인 후보군 필터링 메커니즘을 도입했습니다.

핵심 포인트

• SpanDec는 기존 스팬 기반 NER 방법론과 동등한 수준의 정확도를 유지하면서 처리량(throughput)과 계산 비용을 개선하여 우수한 정확도-효율성 트레이드오프를 제공합니다.
• 핵심 아이디어는 스팬 표현 간의 상호작용 계산을 초기 레이어에서 분리하여, 가벼운 디코더(lightweight decoder)를 통해 최종 트랜스포머 단계에서 효율적으로 수행하는 것입니다.
• 추가로 도입된 스팬 필터링 메커니즘은 비현실적인 후보군(unlikely candidates)을 비용이 많이 드는 처리가 시작되기 전에 사전에 제거하여 시스템의 효율성을 높입니다.