대규모 언어 모델 (LLMs)은 사용자의 정보 요구를 충족하기 위해 널리 사용됩니다. 사용자는 LLM에게 날씨를 묻거나, 교육적인 질문을 던지며, 법률적 도움을 받기 위해 상담하기도 합니다. 특히 연구가 미진한 분야 중 하나는 디지털 보안 및 개인정보 보호 (S&P) 분야로, 사용자는 온라인 계정을 보호하는 방법이나 사이버 공격으로부터 컴퓨터를 보호하는 방법에 대해 LLM의 도움을 구할 수 있습니다. 저희가 알고 있는 바로는, 사용자가 LLM에 묻는 S&P 질문을 수집하거나 분석한 이전 연구는 없었습니다. LLM 응답 품질에 관한 기존 연구들은 사용자 질의보다는 전문가가 작성한 S&P 오해 사례나 FAQ에 의존해 왔습니다. 실제 환경에서 수집된 320만 개의 사용자-LLM 대화 데이터셋인 WildChat을 활용하여, 본 연구는 14,727개의 S&P 프롬프트를 식별하고 이를 광범위한 S&P 주제를 아우르는 9가지 카테고리로 분류했습니다. S&P 프롬프트 중에서 450개를 샘플링하여 사용자가 LLM에 묻는 S&P 질문의 특성을 파악하기 위한 주제 분석 (thematic analysis)을 수행했습니다. 주제 분석과는 별도로, 사용자가 권장 사항, 지침 또는 특정 S&P 정보를 요청하는 270개의 조언 요청형 S&P 프롬프트를 선별했습니다. 저희는 해당 프롬프트를 LLM에 10번 제시했을 때의 LLM 응답 품질과 일관성을 측정했습니다. 연구 결과, 상용 LLM이 오픈 웨이트 (open-weight) 모델보다 우수한 성능을 보였습니다 (GPT 5.5는 프롬프트의 98%에서 "충분히 좋은" 응답을 제공한 반면, Llama 4는 47%를 기록했습니다). 그러나 평균적으로 고품질의 응답을 받은 프롬프트들 중에서도, 상용 모델은 실행 시마다 때때로 모순된 응답을 생성하여 사용자를 혼란스럽게 하거나 잘못된 길로 인도할 위험이 있음을 발견했습니다.