텍스트 분석 평가 프레임워크: LLM 및 소셜 미디어에 관한 사례 연구

LLM(Large Language Models)은 광범위한 NLP(Natural Language Processing) 작업에서 탁월한 능력을 입증해 왔습니다. 그러나 실질적인 데이터 분석 시나리오, 특히 LLM이 뉴스 피드나 본 논문에서 구체적으로 다루는 소셜 미디어 게시물과 같이 긴 비정형 문서 시퀀스를 처리해야 하는 상황에서는 여전히 주목할 만한 격차가 존재합니다. 이러한 환경에서 LLM의 효과를 실증적으로 평가하기 위해, 우리는 집계된 텍스트 데이터에 대한 LLM의 의미론적 이해(Semantic Understanding) 및 추론(Reasoning) 능력을 평가하기 위해 설계된 470개의 수동 큐레이션 질문으로 구성된 질문 기반 평가 프레임워크를 도입합니다. 우리는 감성 분석(Sentiment Analysis), 혐오 표현 탐지(Hate Speech Detection), 감정 인식(Emotion Recognition)을 포함한 다양한 NLP 작업을 다루는 다양한 Twitter 데이터셋에 이 벤치마크를 적용합니다. 연구 결과, 성능은 입력 규모와 데이터 소스의 복잡성에 크게 의존하며, 다중 레이블(Multi-label) 또는 대상 의존적(Target-dependent) 시나리오에서 눈에 띄게 저하되는 것으로 나타났습니다. 또한, 작업의 복잡성이 증가함에 따라 성능은 기본적인 의미론적 존재 식별에서 비교, 계수(Counting), 계산과 같은 더 까다로운 작업으로 갈수록 점진적으로 하락합니다. 나아가 입력 크기가 500개 이상의 인스턴스를 초과함에 따라, 우리는 LLM, 특히 Open-weights 모델 전반에서 나타나는 공통적인 한계를 확인했습니다. 즉, 성능이 상당히 저하되며 특히 수치 작업(Numerical Tasks)에서 그러한 경향이 두드러집니다. 이러한 발견은 대규모 텍스트 컬렉션에 대해 엄격한 정량적 분석을 수행하는 데 있어 현재 LLM이 가진 중요한 아키텍처적 병목 현상을 강조합니다.