Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 LLM의 인컨텍스트 러닝(ICL)을 활용하여 설문 데이터의 결측치를 보정하는 새로운 방법을 제안합니다. 다양한 결측 메커니즘 환경에서 기존 통계적 방법론인 MICE PMM보다 우수한 성능을 보였으며, 특히 비무작위 결측(MNAR) 상황에서 큰 개선을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models, LLM)은 개인 설문 응답의 시뮬레이터로서 널리 평가되어 왔습니다. 그러나 실제 상황에서는 응답이 완전히 관찰되지 않는 경우는 드물며, 주요 문제는 부분적인 무응답(partial non-response)입니다. 결측치 보정(Imputation)은 이러한 누락된 값들을 채워 넣음으로써 설문 데이터셋의 전체적인 구조를 복원하는 것을 목표로 합니다. 이는 고유의 명확한 평가 기준을 가지고 있으며, 예측(prediction)과는 근본적으로 다릅니다. 본 연구에서는 인컨텍스트 러닝(In-Context Learning, ICL)을 통해 누락된 설문 데이터를 보정할 것을 제안합니다. 우리는 American Trends Panel의 15개 웨이브(waves)에 걸친 150개의 여론 변수에 대해 다양한 결측 메커니즘(MCAR, MAR, MNAR)을 적용하여 ICL 설계 선택지를 체계적으로 평가했습니다. MICE PMM과 같이 데이터 보정을 위해 잘 확립된 통계적 방법들과 비교했을 때, 우리의 ICL 접근 방식은 모든 결측 메커니즘에서 절대 오차(absolute error)를 일관되게 감소시켰으며, 특히 비무작위 결측(MNAR) 상황에서 가장 큰 개선을 보였습니다. 특히, 가장 성능이 뛰어난 사양(100개의 인컨텍스트 예시를 사용한 gpt-oss-120b)은 MICE PMM보다 2~5배 더 좁은 신뢰 구간(confidence intervals)을 가지면서도 명목상의 집계 커버리지(aggregate coverage)에 근접하는(95% 수준에 근접) 성과를 달성했습니다. 우리는 로컬 및 독점 LLM을 사용하여 우리의 방법을 쉽게 배포할 수 있도록 sklearn 스타일의 API를 갖춘 Python 패키지를 공개합니다.