세 명의 면접관이 동일한 후보자를 면접합니다. 한 명은 "강력 추천(strong hire)"이라고 말합니다. 한 명은 "확신이 안 서네요, 조금 평이한 느낌이었어요"라고 합니다. 또 다른 한 명은 "정말 마음에 들었어요"라고 말합니다. 이 세 가지 답변을 만들어낸 단 하나의 기준도 아무도 지목하지 못하며, 결국 디브리핑(debrief)에서 가장 목소리가 큰 사람의 의견이 승리하게 됩니다.

이것은 채용 결정이 아닙니다. 그것은 그 자리에서 누가 가장 이야기를 잘했는지에 대한 투표이며, 팀이 실제로 업무를 수행할 수 있는 사람을 거절하게 만드는 방식입니다.

인터뷰 스코어카드(Interview Scorecard)는 이를 해결해 줍니다. 단순히 서류 작업을 늘리기 때문이 아닙니다. 스코어카드가 효과적인 이유는, 누군가를 만나고 합리화(rationalising)를 시작하기 전, 즉 객관성을 유지할 수 있는 시점에 "좋음"이 무엇을 의미하는지 결정하도록 강제하기 때문입니다.

빠른 답변

인터뷰 스코어카드(Interview Scorecard)는 직무 기준(job criteria)의 고정된 목록으로, 각 기준에는 가중치(weight)와 기준 점수(anchored score)가 부여되어 있으며, 모든 면접관이 면접 직후에 독립적으로 작성합니다. 면접이 시작되기 전 직무 기술서(job description)를 바탕으로 스코어카드를 구축하고, 각 후보자에 대해 각 기준별로 1점에서 5점 사이의 점수를 부여하며 서면 증거(written piece of evidence)를 작성합니다. 그 후 가중치를 곱하여 총점을 비교합니다. 이를 통해 후보자 비교를 일관성 있고, 방어 가능하며, 카리스마, 유사성 편향(similarity bias), 그리고 디브리핑에서 누가 먼저 말을 꺼냈는지에 의한 영향에 훨씬 덜 취약하게 만듭니다.

인터뷰 스코어카드란 무엇인가?

스코어카드는 사전에 합의된 세 가지 요소로 구성됩니다:

1. 기준 (The criteria). 일반적인 템플릿이 아닌, 직무 기술서(job description)에서 추출한 이 특정 역할에 진정으로 필요한 4~6가지 사항입니다.
2. 가중치 (The weights). 각 기준이 전체 점수에서 차지하는 비중입니다. 백엔드(backend) 역할의 경우 "커뮤니케이션"과 "실제로 제품을 구축할 수 있는 능력"은 동일하지 않기 때문입니다.
3. 척도 (The scale). 관찰 가능한 행동 측면에서 1점, 3점, 5점이 각각 어떤 모습인지 정의한 것입니다. 이를 통해 두 명의 면접관이 4점을 주었을 때 대략적으로 같은 의미를 갖게 됩니다.

그 외의 모든 것은 프로세스입니다: 면접관은 독립적으로 점수를 매기고, 즉시 점수를 매기며, 모든 숫자 옆에 한 줄의 증거를 작성합니다.

증거(evidence)를 작성하는 한 줄은 사람들이 흔히 건너뛰는 부분이지만, 실제로 가장 중요한 역할을 하는 부분입니다. 증거가 없는 '4점'은 그저 숫자의 탈을 쓴 느낌(feeling)일 뿐입니다. 반면, "혼자서 데이터 수집 파이프라인(ingestion pipeline)을 재구축했고, 야간 작업 시간을 6시간에서 40분으로 단축했으며, 거절했던 트레이드오프(tradeoff)에 대해 설명할 수 있음"이라는 증거가 뒷받침된 '4점'은 채용 담당자(hiring manager), 회의적인 임원, 또는 노동법 변호사에게도 충분히 방어할 수 있는 근거가 됩니다.

왜 비구조화된 면접(unstructured interviews)은 잘못된 후보자를 선발하는가?

비구조화된 면접은 직무(job)가 아니라 면접 자체를 측정하기 때문입니다.

수십 년간의 선발 연구(selection research)는 모두 동일한 방향을 가리킵니다. 일관된 질문과 채점 루브릭(scoring rubric)을 갖춘 구조화된 면접(structured interviews)은 자유 형식의 대화(free-form conversations)보다 직무 수행 능력(job performance)을 훨씬 더 잘 예측합니다. 반면, 자유 형식의 대화는 주로 면접관이 얼마나 편안함을 느꼈는지를 예측할 뿐입니다. 편안함은 유사성, 자신감, 외향성, 그리고 공유된 배경과 상관관계가 있습니다. 이 중 그 어느 것도 직무 역량은 아닙니다.

거의 모든 채용 팀이 겪어온 패턴은 다음과 같습니다:

동일한 세 번의 면접. 동일한 세 명의 사람. 하지만 기준이 고정되면 순위가 완전히 뒤바뀝니다. 왜냐하면 "훌륭한 대화"는 애초에 직무가 요구하는 사항 목록에 없었기 때문입니다.

스코어카드(scorecard)가 없을 때 발생하는 또 다른 보이지 않는 비용은 속도입니다. 비구조화된 디브리핑(debriefs)은 시간이 너무 오래 걸립니다. 팀이 후보자에 대해 논쟁하는 동시에 실시간으로 평가 기준을 만들어내야 하기 때문입니다. 기준이 이미 존재한다면, 디브리핑은 "우리의 점수가 어디서 왜 다른가"를 확인하는 과정이 되며, 이는 한 시간 걸릴 대화를 10분으로 단축해 줍니다.

인터뷰 스코어카드에는 무엇을 담아야 하는가?

직무 기술서(job description)에서 기준을 그대로 가져오되, 면접에서 관찰할 수 없는 것은 모두 버리십시오. 어떤 증거가 점수를 변화시킬 수 있는지 설명할 수 없다면, 그것은 기준(criterion)이 아니라 느낌(vibe)일 뿐입니다.

다음은 Notion, Sheets 또는 ATS(채용 관리 시스템)에 복사하여 사용할 수 있는 동일한 내용의 표입니다:

기준은 보통 4개가 적당합니다. 6개가 상한선입니다. 그 이상이 되면 각 기준의 가중치가 너무 작아져서 점수를 매겨도 아무런 변화가 없게 되며, 면접관들은 생각하는 대신 빈칸을 채우기 시작합니다.

목록에 명시적으로 포함되지 않은 항목들에 주목하십시오: 문화적 적합성 (culture fit), 호감도 (likeability), 그리고 직관 (gut feel)입니다. "문화적 적합성"은 편향 (bias)이 숨어들기 가장 좋은 곳입니다. 왜냐하면 실제로는 "우리와 비슷함"을 의미하기 때문입니다. 만약 진정한 문화적 요구 사항이 존재한다면, 대신 그 행동을 명시하십시오: "매일의 지시 없이도 업무를 잘 수행함", "동료에게 직접적인 피드백을 제공함", "온콜 (on-call) 순번 근무를 수용함" 등입니다. 이것들은 관찰 가능한 것들입니다. "적합성 (Fit)"은 그렇지 않습니다.

기준의 가중치를 어떻게 설정하나요?

각 기준에 대해 한 가지 질문을 던져보십시오: 만약 후보자가 이 부분에서는 약하지만 다른 모든 부분에서 강하다면, 그래도 채용하시겠습니까?

만약 대답이 "아니오"라면, 그 기준은 필수 사항 (must-have)이며 3040%의 높은 가중치를 부여합니다. 만약 대답이 "아마도 예, 코칭할 수 있습니다"라면, 그것은 있으면 좋은 사항 (nice-to-have)이며 1015%의 가중치를 부여합니다.

가중치를 정직하게 유지하는 두 가지 규칙:

가중치는 누구를 만나기 전에 설정해야 합니다. 면접 후에 가중치를 조정하는 순간, 당신은 더 이상 후보자를 측정하는 것이 아니라 이미 선택한 사람을 위한 정당화 (justification)를 구축하고 있는 것입니다.

필수 요건(Must-haves)은 가중치뿐만 아니라 하한선(floor)을 가져야 합니다. 가중 평균(weighted average) 방식은 후보자가 가장 중요한 기준에서 낙제하더라도, 가벼운 기준 세 가지에서 만점을 받으면 여전히 높은 점수를 얻게 만듭니다. 하한선을 설정하세요. 필수 요건 기준에서 점수가 3점 미만이라면, 총점이 얼마든 상관없이 탈락(no)입니다. 가중치(Weighting)는 선호도를 다루고, 하한선(floors)은 타협 불가능한 조건(non-negotiables)을 다룹니다. 당신에게는 이 두 가지가 모두 필요합니다.

1점에서 5점 척도의 기준(anchor)을 어떻게 잡나요?

기준이 없는 척도는 면접관을 위한 성격 테스트나 다름없습니다. 어떤 사람은 훌륭한 성과에 3점을 주지만, 어떤 사람은 단순히 출석만 해도 5점을 줍니다. 기준을 잡는다는 것은 각 점수가 행동 측면에서 어떤 모습인지 한 줄로 작성하는 것을 의미합니다.

일반적인 버전은 다음과 같습니다:

• 1점, 증거 없음 (no evidence). 직접 질문했을 때 사례를 제시하지 못함.
• 2점, 미흡 (weak). 모호하거나, 해당 업무가 팀 내 다른 사람의 것이었음.
• 3점, 기준 충족 (meets the bar). 해당 역할에 필요한 수준의 명확한 직접 경험 사례가 있음.
• 4점, 우수 (strong). 처음부터 끝까지 주도적으로 수행했으며, 결과를 수치화할 수 있고, 왜 성공했는지 이해함.
• 5점, 탁월 (exceptional). 당신이 문제에 대해 이미 알고 있던 것 이상의 내용을 설명함.

그다음, 가장 비중이 큰 기준에 대해 역할별 맞춤형 기준(role-specific anchors)을 작성하세요. 왜냐하면 점수 불일치가 실제로 발생하는 지점이 바로 그곳이기 때문입니다. 시니어 데이터 엔지니어(senior data engineer)의 경우, "직무 기술 = 5점"은 "시간 압박 속에서 운영 파이프라인(production pipeline) 장애를 디버깅해 본 경험이 있으며, 진단 과정을 단계별로 설명할 수 있음"이 될 수 있습니다. 이 문장을 한 번 작성해 두면 모든 면접관이 동일한 기준에 맞춰 조정(calibrate)할 수 있습니다.

균등하고 작은 범위를 사용하세요. 5점 척도는 후보자를 구분하기에 충분한 해상도를 가지면서도, 사람들이 고민하며 괴로워하지 않을 만큼 작습니다. 10점 척도는 거짓 정밀도(false precision)를 유발하며, 아무도 7점과 8점의 차이를 설명할 수 없습니다.

후광 효과(halo effect)가 스며들지 않게 채점하려면 어떻게 해야 하나요?

스코어카드의 품질은 그것을 작성하는 규율(discipline)에 달려 있습니다. 다음 네 가지 규칙이 대부분의 문제를 해결해 줍니다:

면접이 종료된 후 10분 이내에 채점하세요. 기억은 빠르게 하나의 전체적인 인상으로 퇴색됩니다. 일단 "좋은 후보자"라는 기억만 남게 되면, 모든 기준에 동일한 점수를 주게 되며, 이는 당신에게 아무런 정보도 제공하지 못합니다.

디브리핑 전에 독립적으로 점수를 매기세요. 다른 사람의 의견을 듣기 전에 당신의 점수를 제출하세요. 이것이 목록에서 가장 높은 영향력을 가진 규칙입니다. 닻내림 편향(Anchoring bias)은 매우 치명적입니다. 그룹 채팅에서 누군가 자신 있게

꼭 구축할 가치가 있는 또 다른 부분: 채용된 직원이 자리에 앉은 지 6개월이 되었을 때, 그 사람의 스코어카드를 다시 살펴보세요. 만약 당신이 85점을 준 사람이 어려움을 겪고 있고, 70점대인 사람이 번창하고 있다면, 당신의 기준이나 가중치가 잘못된 것입니다. 검토하지 않는 스코어카드는 단순한 의식에 불과합니다. 실제 성과와 비교하여 보정하는 스코어카드는 분기마다 더 나아지는 채용 시스템입니다.

이것은 엔드투엔드로 어떻게 작동할까요?

중급 데이터 분석가 역할을 가정하고, 120명의 지원자가 있다고 해봅시다.

스크리닝(Screening). 당신이 인터뷰에서 120명을 스코어카딩 할 수는 없으므로, 깔때기(funnel)는 먼저 증거를 통해 좁혀져야 합니다. 모든 이력서를 직무 기술서에 따라 점수화하고, 순위를 매긴 다음, 상위 그룹을 콜(calls)로 가져갑니다. 이것은 인터뷰 스코어카드를 한 단계 앞선 곳에 적용한 것과 동일한 논리입니다: 고정된 기준, 일관된 채점, 읽기 순서 효과 없음. 또한 이 단계에서 팀이 가장 많은 시간을 잃는 곳이기도 합니다. 왜냐하면 120개의 이력서를 손으로 읽는 데 며칠이 걸리고 마지막 이력서는 첫 번째 이력서가 받았던 관심을 결코 받지 못하기 때문입니다.

인터뷰(Interviews). 약 12명의 후보자가 전화 스크리닝을 거치고, 5명이 패널에 도달합니다. 모든 패널 인터뷰어는 10분 이내에 독립적으로 스코어카드를 작성합니다.

디브리핑(Debrief). 점수는 이미 있습니다. 대화는 짧습니다: 두 명의 후보자가 75점을 받았고, 한 명은 필수 항목에서 2점을 받아 총점 78점임에도 탈락했으며, C 후보자에 대한 의견 불일치는 한 인터뷰어가 팀 결과를 개인적 영향으로 계산했기 때문이라는 것이 밝혀집니다. 이것은 5분 만에 수정되는 것인데, 증거 라인이 존재했기 때문에 비로소 드러난 것입니다.

결정(Decision). 필수 항목 중 3점 미만이 없는 상태에서 가장 높은 총점을 받은 사람이 오퍼를 받습니다. 혹시라도 6개월 후에 누군가 물어볼 경우에 대비하여, 모든 후보자에 대한 이유가 서면 기록으로 남겨집니다.

스코어카드를 쓸모없게 만드는 실수들

• 인터뷰가 시작된 후에 만드는 것. 이제 이것은 평가 도구가 아니라 정당화 도구가 되어버립니다.
• 12개의 기준. 모든 가중치가 노이즈가 되고 면접관들은 패턴을 채워 넣기 시작합니다.
• 디브리핑 (Debrief) 단계에서 점수를 매기는 것. 당신은 그저 가장 목소리가 큰 의견을 기록하기 위한 정교한 방법을 만든 것에 불과합니다.
• 근거 기록의 부재. 관찰 내용이 뒷받침되지 않는 숫자는 감사하거나, 방어하거나, 보정할 수 없습니다.
• "컬처 핏 (Culture fit)" 점수 매기기. 관찰할 수 없으며, 구조화된 프로세스에 편향 (Bias)이 개입하기 가장 쉬운 지점입니다.
• 절대 재검토하지 않는 것. 만약 5개의 서로 다른 직무에 대해 2년 동안 스코어카드의 내용이 하나도 변하지 않았다면, 그것은 직무를 제대로 측정하고 있지 않은 것입니다.

FAQ

인터뷰 스코어카드 (Interview scorecard)란 무엇인가요?
직무별로 고정된 기준 세트로, 각 기준에는 가중치와 앵커링된 1~5점 척도가 부여됩니다. 모든 면접관은 인터뷰를 마친 후 독립적으로 이를 작성하며, 이를 통해 후보자들을 전체적인 인상이 아닌 동일한 근거를 바탕으로 비교할 수 있습니다.