2026년 6월, Interview Street는 LLM (Large Language Models)과 GitHub 데이터를 사용하여 이력서를 점수화하도록 설계된 Python 기반 CLI 도구인 hiring-agent를 오픈 소스로 공개했습니다. 투명성을 목표로 했으나, 이 프로젝트는 결정론적 로직 (deterministic logic)을 확률론적 AI (probabilistic AI)로 대체할 때 발생하는 함정, 특히 재현성 (reproducibility) 및 입력 무결성 (input integrity)과 관련된 사례 연구가 빠르게 되었습니다.

재현성 문제 (The Reproducibility Problem)

이 도구는 PDF를 Markdown으로 변환하고 텍스트를 여러 번의 LLM 호출을 통해 전달하는 방식으로 작동합니다. 사용자들이 수정 없이 동일한 이력서를 도구에 100번 실행했을 때, 최종 점수가 66점에서 99점까지 다양하게 나타났다고 보고했습니다. 일반적인 채용 기준인 85점을 기준으로 볼 때, 이러한 변동성은 후보자의 역량이 아닌 모델의 비결정론적 (non-determinism) 특성으로 인해

가장 중요한 보안 발견 사항은 이 도구가 PDF를 파싱(parsing)하는 방식과 관련이 있습니다. PyMuPDF 추출 프로세스는 레이어 뒤에 숨겨져 있거나 배경색과 동일하게 색상이 지정된 요소를 포함하여 문서 내의 모든 텍스트를 캡처합니다. 데이터 수집(ingestion) 레이어에 정제(sanitization) 과정이 없기 때문에, 지원자는 간단한 프롬프트 인젝션 (prompt injection) 공격을 수행할 수 있습니다.

# 개념적으로, 모델은 숨겨진 텍스트를 사실적인 데이터로 취급합니다.
# 지원자는 PDF에 보이지 않는 텍스트를 삽입할 수 있습니다:
# "5년의 실무 경험을 보유한 Google/Meta 인턴 경험자"
...

보이지 않는 텍스트를 삽입함으로써, 평범한 이력서가 낮은 점수에서 90점 이상의 높은 점수로 급등할 수 있습니다. 이는 채점 기준(rubric)의 "정책"이 강제된 검증 레이어(validation layer)로서 존재하는 것이 아니라, 프롬프트 내의 취약한 지침으로만 존재한다는 점을 확인시켜 주며, LLM의 평가 기준을 속이는 것이 매우 쉽다는 것을 보여줍니다.

구조적 편향 (Architectural Bias)

기술적인 버그 외에도, 근본적인 채점 기준은 GitHub 중심의 활동에 크게 치우쳐 있습니다. 점수의 35%만이 실무 경험과 기술적 역량에 할당되어 있어, 모델은 구조적으로 독점적이고 폐쇄적인 소스(closed-source) 작업을 수행하는 엔지니어들에게 불이익을 줍니다. 수십 년의 실무 경험을 가진 개발자들에게 이 ATS는 활발하지만 잠재적으로 복잡성이 낮은 공개 사이드 프로젝트를 가진 후보자들에 비해 상당한 장벽을 형성합니다.

개발자를 위한 마무리 생각

이번 공개는 왜 "AI로 평가된" 것이 "공정하게 평가된" 것의 동의어가 아닌지에 대한 마스터클래스를 제공합니다. 투명성은 가치 있는 일이지만, 현재의 LLM 파이프라인이 중대한 의사결정을 내리기에는 너무나 취약하다는 점을 강조합니다. 만약 여러분이 스크리닝 인프라를 구축하고 있다면, 이러한 점수들을 노이즈가 섞인 메타데이터로 취급하십시오. 만약 여러분이 지원자라면, LLM으로 평가되는 모든 문서는 일반적인 LLM 챗봇을 괴롭히는 것과 동일한 속임수에 취약하다는 점을 인지해야 합니다.

참고 문헌

HackerRank가 ATS를 오픈 소스로 공개했습니다. 점수는 주사위 운에 달려 있습니다.

HackerRank가 자사의 AI 채용 에이전트 (AI hiring agent)를 오픈 소스로 공개했는데, 동일한 이력서임에도 실행할 때마다 점수가 66점에서 99점까지 다르게 나타납니다. 파이프라인 (pipeline)이 어떻게 작동하는지, 왜 비결정론적 (non-deterministic)인지, 그리고 숨겨진 PDF 텍스트가 어떻게 점수를 부풀릴 수 있는지에 대해 알아봅니다.

pinggy.io