IoT 데이터 전처리를 통한 엣지 AI의 클라우드 수준 정확도 구현

대규모 언어 모델 (LLMs)은 스마트 환경에서 사물 인터넷 (IoT) 센서 데이터를 해석하기 위한 자연어 인터페이스를 제공하지만, 클라우드 배포는 지연 시간 (latency), 개인정보 보호 및 연결성 문제를 야기합니다. 로컬 LLM은 이러한 제한 사항을 줄일 수 있지만, 엣지에 배포 가능한 소형 모델들은 가공되지 않은 센서 판독값을 직접 제공할 때 수치적 추론 능력이 약화되는 경우가 많습니다. 본 논문은 프롬프트 측면의 전처리가 환경 모니터링을 위한 로컬 LLM의 정확도-지연 시간 트레이드오프 (accuracy-latency trade-off)를 개선할 수 있는지 조사합니다. 우리는 가공되지 않은 공기 질 및 열 쾌적성 측정값을 점진적으로 풍부해지는 텍스트 표현으로 변환하는 구조화된 프롬프트 구성 프레임워크를 제안합니다: 즉, 가공되지 않은 센서 값, 임계값 인식 설명, 그리고 압축된 환경 요약 플래그입니다. 이 접근 방식은 Tampere University의 실내 Raspberry Pi/BME680 데이터셋과 Helsinki, Katowice, Warsaw의 실외 공기 질 데이터셋을 사용하여 평가되었습니다. 우리는 공기 질, 열 쾌적성 및 결합된 환경 조건을 다루는 이진 LLM 쿼리 데이터셋을 구축하였으며, 세 가지 프롬프트 변형과 사고의 사슬 (chain-of-thought, CoT) 프롬프팅의 유무를 포함한 두 가지 추론 모드에 대해 5개의 로컬 LLM과 5개의 클라우드 LLM을 평가했습니다. 결과에 따르면 프롬프트 풍부화는 로컬 모델의 정확도를 실질적으로 향상시킵니다. No-CoT 모드에서 로컬 정확도는 가공되지 않은 프롬프트에서 가장 풍부한 프롬프트로 넘어갈 때 실내에서는 50.9%에서 81.7%로, 실외에서는 63.7%에서 89.3%로 증가합니다. 로컬 No-CoT 추론은 평균 지연 시간이 0.22초에 근접하여 가장 빠른 구성인 반면, CoT는 추론 시간을 크게 증가시킵니다. 이러한 발견은 경량화된 프롬프트 측 전처리가 로컬과 클라우드 간의 성능 격차를 좁힐 수 있으며, 스마트 환경에서 저지연 IoT 분석을 지원할 수 있음을 시사합니다.