지난 15년 동안 이력서 스크리닝 (resume screening) 소프트웨어는 한 가지 일만 수행했습니다. 이력서 내의 키워드를 직무 기술서 (job description)의 키워드와 대조하고, 중복되는 정도에 따라 후보자의 순위를 매긴 뒤, 가장 상단에 있는 후보자들을 채용 담당자에게 전달하는 것이었습니다. 그러한 방식은 2023년경 조용히 효력을 상실했습니다. 시장의 대부분은 아직 이를 따라잡지 못했습니다.

현재 모든 AI 이력서 스크리닝 소프트웨어 업체들은 "문맥 인식 점수 산정 (context-aware scoring)"을 해결책으로 내세워 판매하고 있습니다. 그중 일부는 진심입니다. 하지만 대부분은 더 나은 사전과 마케팅적 수사를 곁들인 퍼지 키워드 매칭 (fuzzy keyword matching)을 의미할 뿐입니다. 이 두 가지 사이의 격차가 채용 결정이 성공하느냐 실패하느냐를 가르는 지점입니다.

만약 당신이 2026년에 AI 이력서 스크리닝 소프트웨어를 평가하고 있다면, 질문해야 할 가치가 있는 것은 해당 도구가 AI를 사용하는지 여부가 아닙니다. 질문은 "그 AI가 무엇을 읽는가"입니다.

키워드 매칭 (Keyword Matching) 시대

전통적인 방식의 이력서 스크리닝 소프트웨어는 단순한 레시피를 따랐습니다. 직무 기술서에서 키워드(React, Python, 분산 시스템 (distributed systems), 5년 경력 등)를 추출합니다. 각 이력서를 스캔하여 해당 키워드를 찾습니다. 일치하는 항목에 점수를 부여하고, 희귀성이나 중요도에 따라 가중치를 둔 뒤, 총점에 따라 순위를 매깁니다.

오랫동안 이 방식은 충분히 잘 작동했습니다.

이력서는 후보자들이 자신의 언어로 작성했습니다. 후보자가 사용한 키워드는 그들이 가진 경험을 나타내는 괜찮은 대리 지표였습니다. 양이 관리 가능한 수준이었기에 채용 담당자는 상위 후보자들을 검토하며 키워드가 놓친 부분을 잡아낼 수 있었습니다. 또한 기술 직무의 언어는 충분히 안정적이어서 "React"는 한 가지 의미를, "백엔드 엔지니어 (backend engineer)"는 또 다른 의미를 가졌으며, 이 둘이 혼동되는 일은 거의 없었습니다.

세 가지가 변했습니다.

LLM (Large Language Models)이 모든 후보자의 브라우저에 이력서 최적화 도구를 배치했습니다. 직무 기술서를 언어 모델에 입력하고 그 언어를 그대로 반영한 이력서를 받아내는 것은 이제 지원 과정의 일상적인 부분이 되었습니다. 예전에는 "소규모 엔지니어링 팀을 이끌었다"라고 말하던 후보자가 이제는 직무 기술서에 해당 문구가 등장한다는 이유로 "3개의 시간대에 걸쳐 12명의 분산 엔지니어링 팀을 이끌었다"라고 말합니다. 모든 후보자가 완벽하게 일치하게 되면 키워드 매칭은 의미가 없어집니다.

지원 규모가 폭발적으로 증가했습니다. 2020년에 60건의 지원을 받았던 시니어 엔지니어링 직무는 이제 800건에서 2,000건의 지원을 받습니다. 채용 담당자들은 더 이상 서류 더미 상단에 있는 후보자들을 원본 이력서와 일일이 대조하며 수동으로 확인할 수 없습니다. 순위 산정 시스템이 보여주는 결과가 곧 그들이 작업해야 하는 순위가 됩니다.

키워드 스터핑 (Keyword stuffing)이 하나의 전문 기술로 변질되었습니다. 40개의 기술을 나열하는 전용 기술 섹션이 표준이 되었습니다. 직무 기술서 (JD)를 글자 그대로 반영하는 LLM (대규모 언어 모델) 생성 불렛 포인트(bullet points)가 일반화되었습니다. 이러한 환경에서 여전히 키워드 중복을 계산하는 모든 평가 도구는 잘못된 것을 측정하고 있는 것입니다.

키워드가 신호 (Signal)를 놓치기 시작한 이유

키워드 매칭 (Keyword matching)은 지난 3년 동안 급격히 악화된 두 가지 종류의 오류를 발생시킵니다.

거짓 양성 (False positives). 언어 모델이 작성했기 때문에 이력서의 모든 키워드가 일치하는 후보자입니다. 나열된 도구 중 그 어떤 것도 직접 다뤄본 경험이 없습니다. 해당 기술을 사용하는 인접 팀에서 6개월간 근무했을 뿐입니다. 키워드 점수는 높지만, 이 후보자는 해당 직무에 적합하지 않습니다.

거짓 음성 (False negatives). 실제 관련 경험이 있지만 다른 언어로 기술된 후보자입니다. 이들은 3개 지역에 걸친 원격 엔지니어 팀을 이끌었지만, "분산 팀 리드 (led distributed teams)" 대신 "시간대에 걸쳐 조정 (coordinated across time zones)"이라고 표현했습니다. 이들은 하루 3억 개의 이벤트를 처리하는 시스템을 구축했지만, "분산 스트리밍 아키텍처 (distributed streaming architecture)" 대신 "고처리량 데이터 처리 (high-throughput data processing)"라고 표현했습니다. 이들의 경험은 직무에 매우 적합합니다. 하지만 키워드 개수는 아니라고 말합니다.

두 오류는 규모가 커질수록 복합적으로 작용합니다. 만약 키워드 중복도로 2,000명의 후보자 순위를 매긴다면, 거짓 양성 후보자들이 리스트 상단에 위치하여 채용 담당자의 시간을 낭비하게 만들고, 거짓 음성 후보자들은 아무도 보지 않는 하위 25% 구역에 파묻히게 됩니다. 시스템의 신뢰도 (Confidence)는 높지만, 정확도 (Accuracy)는 낮습니다. 그리고 최적화되고 있는 지표(키워드 중복도)가 중요한 지표(채용 품질)가 아니기 때문에 아무도 이를 잡아내지 못합니다.

문맥 인식 점수 산정 (Context-Aware Scoring)이 대신 읽는 것

문맥 인식 점수 산정 (Context-aware scoring)은 언어 모델 (Language model)을 사용하여 이력서를 단순한 키워드 뭉치 (Bag of keywords)가 아닌 하나의 일관된 이야기로 평가합니다. 일치하는 항목을 세는 대신, 다음과 같은 단 하나의 질문을 던집니다. "이 후보자의 경력이 이 특정 회사의 맥락에서, 이 특정 역할이 필요로 하는 사항과 일치하는가?"

키워드 매칭 방식이 놓치는, 문맥 인식 평가자가 읽어내는 다섯 가지 신호입니다.

전문성 (Depth) 대 유행어 (Buzzword). "하루 3억 건의 쿼리를 처리하는 분산 벡터 데이터베이스 (Distributed vector database)를 구축함"은 "벡터 데이터베이스에 익숙함"과 다르게 읽힙니다. 키워드는 동일하지만, 신호는 매우 다릅니다.

증거 (Evidence) 대 주장 (Claim). 기술 섹션에는 "React 전문가"라고 기재했지만 경력 섹션에는 React 관련 프로젝트가 없는 경우 우려를 유발합니다. 키워드 매칭 방식은 두 경우 모두 일치하는 것으로 간주합니다.

의미적 동등성 (Semantic equivalence). 동일한 업무를 서로 다른 단어로 설명하는 두 후보자는 유사하게 평가되어야 합니다. "12명의 분산 팀을 이끌었음"과 "3개의 시간대에 걸쳐 15명의 원격 엔지니어를 조율함"은 유사한 업무를 설명합니다.

역할 맥락 (Role context). 요구 사항에 둘 다 React가 포함되어 있더라도, React 전문성은 백엔드 (Backend) 역할보다 프론트엔드 (Frontend) 역할에서 더 높은 가중치를 가집니다. 문맥 인식 점수 산정 방식은 특정 역할에 해당 기술이 얼마나 핵심적인지에 따라 동일한 기술의 가중치를 조정합니다.

성장 과정 확인 (Progression check). 연차 곡선이 합리적으로 추적되는 후보자(8년에 걸쳐 주니어에서 미드, 시니어로 성장)는, 기재된 경력이 2년뿐인데 스태프급 (Staff-level) 경험을 주장하는 후보자와는 다르게 읽힙니다.

이것들은 새로운 신호가 아닙니다. 인간 검토자들은 항상 이러한 신호들을 읽어왔습니다. 키워드 매칭은 할 수 없었지만, 문맥 인식 점수 산정은 가능합니다.

테스트: 두 방식이 갈라지는 지점

문맥 인식 점수 산정 방식이 키워드 매칭 방식과 다른 답을 내놓는 세 가지 구체적인 시나리오입니다.

완벽한 키워드 매칭, 빈약한 경험. 이력서의 기술 섹션에는 React, TypeScript, GraphQL, Kubernetes, AWS가 잘 정리되어 나열되어 있습니다. 하지만 경력 섹션을 보면, 해당 도구들을 사용했던 다른 팀에서 주니어 지원 엔지니어(junior support engineer)로 6개월간 근무한 것이 전부입니다. 키워드 점수: 높음. 문맥 인식 (Context-aware) 점수: 낮음. 추론 과정은 다음과 같습니다: "지원자가 요구되는 스택을 나열했으나, 이를 활용해 구축했다는 증거가 보이지 않음."

적절한 경험, 잘못된 단어. 이력서에 "분산 시스템 (distributed systems)"이라는 표현은 전혀 없지만, 여러 지역에 걸쳐 수억 명의 사용자에게 100ms 미만의 지연 시간(latency) 요구 사항을 충족하며 인프라를 운영한 수년간의 경력이 기술되어 있습니다. 키워드 점수: 낮음. 문맥 인식 (Context-aware) 점수: 높음. 추론 근거: 사용된 어휘가 직무 기술서 (JD)와 다르더라도, 기술된 업무 내용이 해당 역할의 요구 사항과 직접적으로 일치함.

LLM이 복제한 듯한 이력서. 이력서가 마치 언어 모델 (LLM)에 직무 기술서 (JD)를 입력하고 그에 맞는 후보자 프로필을 생성하도록 요청한 것처럼 읽힙니다. 모든 키워드가 포함되어 있고, 모든 불렛 포인트(bullet point)가 직무 기술서 (JD)의 구조를 그대로 반영하고 있습니다. 구체적인 프로젝트 세부 사항은 모호하거나 누락되어 있습니다. 키워드 점수: 완벽함. 문맥 인식 (Context-aware) 점수: 의심스러운 것으로 분류됨. 추론 근거: 경력 섹션에 상응하는 구체적인 증거 없이 언어 표현이 직무 기술서 (JD)를 너무 밀접하게 모방함.

만약 어떤 벤더(vendor)가 요청 시 최소한 한 명의 후보자에 대해서라도 이러한 종류의 추론 과정을 제시하지 못한다면, 그들이 내세우는 "문맥 인식 (context-aware)"이라는 라벨은 제품의 기능이 아니라 마케팅 용어에 불과합니다.

세미-문맥 함정 (The Semi-Context Trap)

"문맥 인식 (context-aware)"이라는 이름으로 판매되지만, 실제로는 그 중간 어디쯤에 위치하는 몇 가지 패턴을 명시할 가치가 있습니다.

임베딩 유사도 (Embedding similarity). 이력서와 직무 기술서 (JD)를 각각 벡터 (vector)로 변환합니다. 벤더는 이들 사이의 코사인 유사도 (cosine similarity)를 계산합니다. 이는 정확한 문자열 매칭 (exact string matching)보다는 낫지만, 여전히 내용에 대한 추론이 아닌 전반적인 텍스트 유사도를 측정하는 것입니다. 잘 작성된 LLM 기반 이력서는 설계 구조상 직무 기술서 (JD)와 높은 임베딩 유사도를 기록하게 됩니다.

유의어 확장 (Synonym expansion). "React"는 "React.js" 및 "ReactJS"와도 일치합니다. "Ruby on Rails"는 "RoR"와 일치합니다. 정확한 키워드 매칭 (Exact keywords)보다 낫지만, 여전히 조회 테이블 (Lookup table)을 사용하는 키워드 매칭 방식입니다.

키워드 추출기로서의 LLM (LLM as a keyword extractor). 벤더(Vendor)는 언어 모델 (Language model)을 사용하여 이력서에서 "기술 (Skills)"을 추출한 다음, 추출된 기술을 직무 기술서 (JD)와 키워드 매칭합니다. 여기서 LLM은 전처리 (Preprocessing)를 수행할 뿐, 평가 (Evaluation)를 하는 것이 아닙니다. 근본적인 점수 산정 방식은 여전히 키워드 기반입니다.

진정한 문맥 인식 점수 산정 (Context-aware scoring)은 LLM을 평가자 (Evaluator)로 사용하여, 적합성에 대해 처음부터 끝까지 추론 (Reasoning)하고 점수에 대한 서면 근거 (Written justification)를 생성합니다. 만약 벤더의 데모가 특정 후보자에 대해 그러한 서면 근거를 생성하지 못한다면, 해당 시스템은 아마도 위에서 언급한 준-문맥 (Semi-context) 범주 중 하나에 속할 것입니다.

데모에서의 빠른 테스트 방법: 점수가 낮게 나온 후보자를 불러옵니다. 그 이유를 물어보세요. 만약 답변이 "필수 키워드 7개 중 4개가 일치함"이라면, 그것은 키워드 매칭입니다. 만약 답변이 "후보자의 경험은 X를 강조하지만 해당 역할은 Y를 요구하며, 나열된 구체적인 프로젝트들은 스태프 레벨 (Staff-level)의 범위보다는 주니어 단계의 깊이를 시사함"이라면, 그것은 문맥 인식 방식입니다.

문맥 인식 점수 산정이 화면에 보여주는 것들

언어 모델이 이력서의 단어 수를 세는 대신 이력서에 대해 추론을 시작하면, 출력 결과는 실제 평가처럼 보일 수 있습니다.

• 점수의 의미를 설명하는 서면 요약이 포함된 전체 일치 점수 (Overall match score)
• 해당 역할에서 중요하게 여기는 각 차원 (Dimension)에 대해 후보자가 어떻게 점수를 받았는지 보여주는 기준별 세부 분석 (Per-criterion breakdown)
• 각 기준에 필수 (Must Have) 또는 우대 (Nice to Have) 태그를 지정하여, 전체 점수는 높지만 필수 요건을 충족하지 못한 후보자가 누락되지 않도록 함
• 해당 역할에 중요한 후보자의 구체적인 강점 목록 (Strengths list)
• 인간 검토자가 확인해야 할 구체적인 격차 (Gaps) 또는 레드 플래그 (Red flags) 목록 (Concerns list)
• 채용 담당자가 즉시 조치를 취할 수 있도록 점수 설정과 연계된 권장 사항 (Recommendation)

이것이 바로 실제 문맥 인식 평가 (Context-aware evaluation)의 형태입니다. 마치 똑똑한 인간 검토자가 이력서를 검토하는 데 30분을 할애한 것과 같은 결과물을 보여줍니다. 모든 벤더(Vendor)가 이를 따랐는지 여부와 상관없이, 이것이 바로 AI 이력서 스크리닝 (AI resume screening) 소프트웨어 시장이 나아가고 있는 표준입니다.

Careerswift Hire의 스크리닝 레이어 (Screening layer)는 이러한 패턴을 기반으로 구축되었습니다. 플랫폼의 프레임워크로서 문맥 인식 AI 스크리닝 (Context-Aware AI Screening)을 제공합니다. 일반적으로 8개에서 18개의 가중치가 부여된 기준 (Weighted criteria)을 가진 역할별 점수 설정 (Per-role scoring configurations)을 지원하며, 요구 사항이 많은 역할의 경우 수백 개까지 확장 가능합니다. 각 기준은 '필수 사항 (Must Have)' 또는 '우대 사항 (Nice to Have)'으로 태그가 지정됩니다. 모든 평가는 종합 매칭 점수 (Overall match score), AI 권장 사항 (AI recommendation), 서면 요약 (Written summary), 강점 목록 (Strengths list), 우려 사항 목록 (Concerns list), 그리고 기준별 세부 분석 (Per-criterion breakdown)을 생성합니다. 일반적인 역할에 대한 기성 템플릿 (Ready-made template)에서 시작하거나, 자신만의 기준을 처음부터 구축하거나, 또는 독자적인 점수 모델 (Proprietary scoring model)을 완전히 가져올 수도 있습니다.

키워드 매칭 (Keyword matching)에서 문맥 인식 점수 산정 (Context-aware scoring)으로의 전환은 AI 이력서 스크리닝 소프트웨어 시장의 준비 여부와 관계없이 일어나고 있습니다. 후보자 측이 먼저 그 단계에 도달했습니다. 이력서들은 이미 LLM (Large Language Model)에 최적화되어 있습니다. 키워드 채우기 (Keyword stuffing)는 표준적인 관행이 되었습니다. 지원서의 양은 인간이 알고리즘이 저지르는 실수를 잡아낼 수 있는 임계점을 훨씬 넘어섰습니다.

AI 이력서 스크리닝 소프트웨어를 평가할 때 올바른 질문은 "AI를 사용하는가"가 아닙니다. 모든 도구가 그렇다고 답할 것입니다. 올바른 질문은 "AI가 이력서를 평가하는가, 아니면 이력서 내의 키워드를 평가하는가"입니다. 이 두 가지는 비슷하게 들리지만, 전혀 다릅니다. 벤더에게 특정 누락된 키워드를 포함하지 않는 이유로 탈락한 후보자를 보여달라고 요청하십시오. 만약 그들이 보여주지 못한다면, 당신은 겉모습만 그럴싸한 모호한 키워드 매칭 (Fuzzy keyword matching) 도구를 보고 있는 것입니다.

이러한 변화를 조기에 올바르게 수행한 플랫폼들(현재의 한 예로 Careerswift Hire가 있음)은 문맥 인식 평가 (Context-aware evaluation)를 키워드 로직 (Keyword logic) 위에 얹은 마케팅용 포장지가 아니라, 핵심 점수 산정 계층 (Core scoring layer)으로 취급합니다. 문맥 인식 점수 산정 (Context-aware scoring)은 마케팅이 엔지니어링보다 먼저 도달하는 변화 중 하나입니다. 두 사이의 격차는 결국 좁혀집니다. 그 격차 안에서 제품을 구매하는 것은 비용이 많이 듭니다. 하지만 그 차이를 읽어내는 것은 비용이 들지 않습니다.