Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 애플리케이션의 시스템 프롬프트를 체계적으로 감사하기 위한 사용자 중심 프레임워크 AISPA를 제안합니다. 88개 상용 AI 제품의 프롬프트를 분석하여 보호적 지침과 문제적 지침의 현황 및 격차를 규명했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기시스템 프롬프트(System prompts)는 AI 애플리케이션에서 파운데이션 모델(foundation models)의 동작을 제어하기 위해 개발자가 설정하는 지침입니다. 이는 다양한 상용 AI 제품 전반에 걸쳐 사용되지만, 대중이나 규제 기관에 공개되는 경우는 드물며, 이로 인해 AI 시스템의 광범위한 배포 과정에서 심각한 신뢰 및 책임성 격차를 야기합니다. 본 논문에서는 AI 시스템의 시스템 프롬프트를 체계적으로 감사하기 위한 사용자 중심 프레임워크인 AISPA(Artificial Intelligence System Prompt Assurance)를 소개합니다. AISPA는 시스템 프롬프트의 특정 부분을 조사하고, 사용자에게 중요한 8가지 차원을 따라 이를 평가합니다. 이후 우리는 이 프레임워크를 사용하여 88개의 상용 AI 제품에 포함된 3,249개의 시스템 프롬프트 지침을 검토하고, 각 지침을 보호적(protective, 사용자 보호 목적) 또는 문제적(problematic)인 것으로 분류했습니다. 우리의 감사 결과 네 가지 핵심 발견 사항이 도출되었습니다. 첫째, 시스템 프롬프트 설계는 제품과 개발자에 따라 상당한 차이를 보였으며, 일부 조직은 제품당 평균 60개 이상의 보호적 지침을 포함하는 반면 다른 조직은 평균 5개 미만을 포함했습니다. 둘째, 보호적 지침은 널리 채택되어 있으나 그 범위가 얕습니다. 98.9%의 제품이 최소 하나 이상의 보호적 지침을 포함하고 있지만, AISPA 분류 체계의 8가지 차원을 모두 충족하는 제품은 24%에 불과했습니다. 셋째, 시스템 프롬프트는 지속적으로 길어지고 있으며 사용자를 보호하는 경향이 강해지고 있는데, 이는 상용 프롬프트 설계에서 사용자 보호가 더욱 가시적인 관심사가 되고 있음을 시사합니다. 넷째, 이러한 진전에도 불구하고 문제적 지침은 여전히 만연해 있습니다. 약 40%의 제품이 사용자의 이익에 반하는 지침을 최소 하나 이상 포함하고 있으며, 보호적 지침과 문제적 지침이 동일한 프롬프트 내에 빈번하게 공존합니다. 우리의 연구 결과는 상용 AI 제품의 시스템 프롬프트에 대한 더 높은 투명성, 표준화 및 독립적인 감독의 필요성을 강조합니다.