대규모 언어 모델(LLMs)을 이용한 자동 이력서 스크리닝에서의 프롬프트 인젝션(Prompt Injection): 단일 및 다중 인젝션 설정

대규모 언어 모델(LLMs)이 구직자를 선별하고 순위를 매기는 데 점점 더 많이 사용됨에 따라, 지원자들이 알고리즘 채용 시스템을 전략적으로 조작하려는 유인이 생겨나고 있습니다. 본 연구에서는 자동 이력서 스크리닝에서의 프롬프트 인젝션(Prompt Injection)을 연구하며, 이는 새로운 자격 요건을 추가하지 않으면서 LLM의 평가에 영향을 미치도록 설계된 미묘한 자기 홍보용 텍스트로 정의됩니다. 통제된 실험을 통해, 우리는 이력서의 품질이 균일하고 소수의 지원자만이 인젝션을 시도할 때 프롬프트 인젝션이 지원자 순위를 안정적으로 향상시킨다는 것을 보여줍니다. 그러나 더 많은 지원자가 인젝션을 시도할수록 그 효과는 급격히 감소하며, 조작이 광범위해지면 무너집니다. 지원자의 품질이 이질적일 경우, 프롬프트 인젝션은 평균적으로 효과가 떨어지지만, 때때로 저품질의 지원자가 고품질의 지원자보다 높은 순위를 차지하게 하여 공정성 문제를 야기할 수 있습니다. 전반적으로, LLM 기반 스크리닝은 조작이 드물고 지원자 간의 품질 차이가 작을 때 가장 취약합니다. 코드와 리소스는 다음에서 공개적으로 사용할 수 있습니다: https://github.com/preetb1199/Prompt_Injection_ACL26