Computer Science > Computation and Language

제목: 말투에 주의하세요: 프롬프트의 공손함이 LLM 정확도에 미치는 영향 조사 (short paper)

PDF 보기 초록: 자연어 프롬프트 (natural language prompts)의 문구 구성이 거대 언어 모델 (LLMs)의 성능에 영향을 미친다는 사실이 밝혀졌으나, 공손함 (politeness)과 어조 (tone)의 역할은 아직 충분히 연구되지 않았습니다. 본 연구에서는 프롬프트의 공손함 수준이 객관식 문제에 대한 모델의 정확도에 어떻게 영향을 미치는지 조사합니다. 우리는 수학, 과학, 역사를 아우르는 50개의 기본 질문 데이터셋을 생성하였으며, 각 질문을 매우 공손함 (Very Polite), 공손함 (Polite), 중립적 (Neutral), 무례함 (Rude), 매우 무례함 (Very Rude)의 5가지 어조 변형으로 재작성하여 총 250개의 고유한 프롬프트를 확보했습니다. ChatGPT 4o를 사용하여 이러한 조건별 응답을 평가하였으며, 통계적 유의성을 평가하기 위해 대응 표본 t-검정 (paired sample t-tests)을 적용했습니다. 예상과는 달리, 무례한 프롬프트가 공손한 프롬프트보다 일관되게 더 나은 성능을 보였으며, 정확도는 매우 공손한 프롬프트의 80.8%에서 매우 무례한 프롬프트의 84.8%까지 나타났습니다. 이러한 결과는 무례함이 더 나쁜 결과를 초래한다고 연관 지었던 이전 연구들과는 차이가 있으며, 이는 최신 LLM들이 어조의 변화에 다르게 반응할 수 있음을 시사합니다. 우리의 연구 결과는 프롬프트 작성의 화용론적 (pragmatic) 측면을 연구하는 것의 중요성을 강조하며, 인간-AI 상호작용의 사회적 차원에 대한 더 넓은 질문을 제기합니다.

서지 및 인용 도구

이 논사와 관련된 코드, 데이터 및 미디어

데모

추천 및 검색 도구

arXivLabs: 커뮤니티 협력자와 함께하는 실험적 프로젝트

arXivLabs는 협력자들이 우리 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있도록 하는 프레임워크입니다.

arXivLabs와 함께 활동하는 개인 및 조직은 개방성, 커뮤니티, 탁월함, 그리고 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하고 있으며, 이를 준수하는 파트너와만 협력합니다.

arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있습니까? arXivLabs에 대해 자세히 알아보세요.