직장 내 소프트웨어 내부의 AI는 처음에는 무해해 보일 수 있습니다.

• 후보자를 순위 매깁니다.
• 인터뷰를 요약합니다.
• 직원의 활동을 점수화합니다.
• 작업 할당을 추천합니다.
• 성과 패턴을 표시합니다.
• 주의가 필요한 사람들을 강조합니다.
• 피드백 초안을 작성합니다.

이러한 각 기능은 생산성 향상처럼 들릴 수 있습니다.

하지만 그 결과물이 개인의 업무에 영향을 미칠 때 결과는 달라집니다.

채용 도구 내부의 추천은 누가 인터뷰를 받을지를 결정할 수 있습니다.

생산성 점수는 누가 질문을 받게 될지를 결정할 수 있습니다.

작업 할당 시스템은 누가 더 나은 기회를 얻을지를 결정할 수 있습니다.

성과 신호는 승진, 급여, 업무량 또는 해고 논의를 결정할 수 있습니다.

이것이 바로 직장 내 AI가 차별화된 제품 검토를 받아야 하는 이유입니다.

유럽 위원회(European Commission)는 EU AI Act에 따라 고용, 근로자 관리 및 자영업 접근을 위한 AI 도구를 고위험(high-risk) 사례로 나열하고 있습니다. 여기에는 채용 및 이력서(CV) 분류와 같은 영역이 포함됩니다. EU AI Act 서비스 데스크의 부속서 III(Annex III) 페이지에는 채용, 타겟팅된 구인 광고, 지원서 필터링 및 후보자 평가에 사용되는 시스템도 포함되어 있습니다.

Reuters는 최근 AI의 결과물이 채용, 승진, 작업 할당 또는 성과 모니터링과 같은 결정에 실질적인 영향을 미친다면, 최종 결정은 인간이 내리더라도 직장 내 AI는 여전히 고위험군에 해당할 수 있다고 보도했습니다.

소프트웨어 팀에게 주는 실질적인 교훈은 간단합니다:

AI가 누군가의 직장 생활에 영향을 미친다면, 단순한 생산성 도구 이상의 라벨이 필요합니다.

이것이 중요한 이유

직장 내 AI는 종종 조용히 도입됩니다.

주요 자동화된 결정 시스템으로서가 아닙니다.

관리자의 대체재로서도 아닙니다.

무서운 감시 도구로서도 아닙니다.

보통 다음과 같은 작은 기능으로 시작합니다:

• 채용 담당자가 더 빠르게 최종 후보 명단을 작성하도록 도움,
• 관리자가 업무량 패턴을 파악하도록 도움,
• 팀이 작업을 더 잘 할당하도록 도움,
• HR이 성과 신호를 검토하도록 도움,
• 운영팀이 낮은 생산성을 감지하도록 도움,
• 지원 리더가 응답 품질을 평가하도록 도움.

그러한 유스케이스(use cases)는 유용할 수 있습니다.

하지만 그것들은 또한 결과의 경로(consequence path)를 만들어냅니다.

영향을 받는 당사자는 모델을 보지 못할 수도 있습니다.

그들은 오직 결과만을 보게 될 수도 있습니다.

면접이 없을 수도 있습니다.

더 낮은 순위가 매겨질 수도 있습니다.

더 어려운 과업이 주어질 수도 있습니다.

가시성이 낮아질 수도 있습니다.

낮은 성과 기록이 남을 수도 있습니다.

승진이 지연될 수도 있습니다.

매니저로부터 경고를 받을 수도 있습니다.

그 지점이 바로 직장 내 AI가 단순한 내부 도구(internal tooling)의 문제를 넘어 신뢰(trust)의 문제가 되는 지점입니다.

팀들이 저지르는 실수

흔한 실수는 해당 도구가 오직 회사에만 도움이 되는 것처럼 검토하는 것입니다.

그것은 너무 좁은 시각입니다.

직장 내 AI 도구는 평가, 순위 매기기, 일정 관리, 모니터링 또는 비교 대상이 되는 개인에게도 영향을 미칩니다.

따라서 제품 검토(product review)는 다음 질문에서 멈춰서는 안 됩니다:

• 시간을 절약해 주는가?
• 결과물이 유용한가?
• 매니저가 좋아하는가?
• HR 소프트웨어와 통합되는가?

더 나은 검토 방식은 다음과 같이 질문합니다:

• 결과물에 의해 누가 영향을 받는가?
• 어떤 결정이 뒤따를 수 있는가?
• 당사자가 그 신호(signal)를 이해할 수 있는가?
• 매니저가 이를 무효화(override)할 수 있는가?
• 회사가 나중에 이를 설명할 수 있는가?
• 도구가 실제로 중요한 것을 측정하고 있는가?
• 도구가 조용히 잘못된 행동에 보상을 주거나 처벌할 가능성이 있는가?

7단계 직장 내 AI 검토

1. 결과 매핑 (Consequence mapping)

AI 결과물이 무엇에 영향을 미칠 수 있는지 적는 것부터 시작하십시오.

다음 사항에 영향을 미칩니까:

• 채용 (hiring),
• 면접 대상 선정 (interview selection),
• 후보자 순위 매기기 (candidate ranking),
• 과업 할당 (task assignment),
• 교대 근무 배정 (shift allocation),
• 성과 검토 (performance review),
• 승진 (promotion),
• 보상 (compensation),
• 계약 갱신 (contract renewal),
• 해고 (termination),
• 징계 조치 (disciplinary action),
• 또는 매니저의 인식 (manager perception)?

이것이 중요한 이유는 동일한 기능이라도 한 워크플로우(workflow)에서는 저위험(low-risk)일 수 있지만, 다른 워크플로우에서는 고영향(high-impact)일 수 있기 때문입니다.

내부 메모용으로 사용되는 요약 도구는 후보자 선별(shortlist)에 사용되는 점수 산정 도구와는 다릅니다.

체크 사항:

이 AI 결과물의 존재로 인해 개인에게 어떤 일이 일어날 수 있는가?

2. AI 영향 수준 (AI influence level)

제품이 최종 결정을 내릴 필요는 없지만, 최종 결정에 영향을 미칠 수는 있습니다.

AI가 순위를 매기거나, 필터링하거나, 점수를 매기거나, 플래그를 표시하거나, 비교하거나, 권장한다면, 그것은 이미 결과를 형성하고 있을 수 있습니다.

이는 직장 내 도구(workplace tools)에서 특히 중요한데, 인간 검토자(human reviewers)가 시스템을 지나치게 신뢰할 수 있기 때문입니다.

만약 채용 담당자가 순위가 매겨진 목록을 본다면, 순위가 낮은 후보자들은 관심을 덜 받게 될 수 있습니다.

만약 관리자가 위험 점수(risk score)를 본다면, 해당 직원은 다르게 대우받을 수 있습니다.

만약 작업 시스템이 어려운 업무를 반복적으로 할당한다면, 그 사람의 성장과 평가가 변할 수 있습니다.

점검 사항:

AI가 단순히 정보를 보여주고 있는 것인가, 아니면 결정을 유도(steering)하고 있는가?

3. 데이터 품질 (Data quality)

직장 데이터는 무질서할 수 있습니다.

활동 로그(Activity logs)가 항상 노력과 일치하는 것은 아닙니다.

키보드 활동이 생산성과 일치하는 것은 아닙니다.

응답 속도가 품질과 일치하는 것은 아닙니다.

회의 시간이 영향력(impact)과 일치하는 것은 아닙니다.

티켓(Ticket) 처리량이 고객 가치와 일치하는 것은 아닙니다.

약한 신호(weak signals)로 학습된 모델은 확신에 차 있지만 불공정한 결론을 내릴 수 있습니다.

팀은 다음 사항을 검토해야 합니다:

• 소스 데이터 (source data),
• 누락된 맥락 (missing context),
• 역할 차이 (role differences),
• 팀 간 차이 (team differences),
• 역사적 편향 (historic bias),
• 이상치 (outliers),
• 데이터 최신성 (data freshness),
• 그리고 해당 신호가 실제로 결정에 적합한지 여부.

점검 사항:

우리는 직장 내 결정을 진정으로 뒷받침하는 데이터를 사용하고 있는가?

4. 역할 간의 공정성 (Fairness across roles)

직장 내 AI는 직접적으로 비교해서는 안 될 사람들을 비교할 수 있습니다.

영업 사원, 디자이너, 엔지니어, 채용 담당자, 지원 에이전트(support agent), 그리고 운영 관리자(operations manager)는 서로 다른 방식으로 가치를 창출합니다.

심지어 하나의 직무(function) 내부에서도 작업 조건은 다를 수 있습니다.

복잡한 엔터프라이즈 케이스를 처리하는 지원 에이전트는 단순한 요청을 처리하는 사람보다 티켓을 적게 마감할 수 있습니다.

심층 인프라(deep infrastructure)를 다루는 엔지니어는 작은 UI 버그를 수정하는 사람보다 눈에 보이는 커밋(commits)이 적을 수 있습니다.

만약 AI 시스템이 역할 맥락(role context)을 무시한다면, 의미 있는 기여보다 눈에 보이는 활동에 보상을 줄 수 있습니다.

점검 사항:

시스템이 사람들을 비교하기 전에 역할 맥락을 이해하고 있는가?

5. 의미 있는 인간 검토 (Human review that means something)

"인간 검토(Human review)"는 단순히 체크박스를 채우는 절차가 되어서는 안 됩니다.

의미 있는 인간 검토는 다음을 정의해야 합니다:

• 누가 AI 출력물(AI output)을 검토하는지,
• 언제 검토하는지,
• 어떤 추가적인 맥락(context)을 확인해야 하는지,
• 무엇을 무효화(override)할 수 있는지,
• 이견(disagreement)이 어떻게 기록되는지,
• 그리고 영향을 받는 사람이 대응할 수 있는지 여부.

만약 검토자가 대부분의 경우 AI 출력물을 단순히 수용한다면, 해당 워크플로(workflow)는 여전히 자동화(automation)처럼 작동할 수 있습니다.

체크리스트:

누군가에게 영향을 미치기 전에 사람이 AI 출력물에 대해 이의를 제기하거나, 수정하거나, 무효화할 수 있습니까?

6. 영향을 받는 사람들에 대한 투명성 (Transparency to affected people)

사람들은 자신이 이해하지 못하는 숨겨진 시스템에 의해 평가되어서는 안 됩니다.

그렇다고 해서 모든 모델의 세부 사항을 공개해야 한다는 의미는 아닙니다.

하지만 영향을 받는 사람들은 다음 사항을 알아야 합니다:

• AI가 사용되고 있다는 사실,
• 어떤 종류의 데이터를 고려하는지,
• 출력물이 무엇을 위해 사용되는지,
• 누가 출력물을 보는지,
• 그것이 결정에 영향을 미치는지 여부,
• 그리고 어떻게 이에 대해 질문할 수 있는지.

명확한 소통은 신뢰를 구축합니다.

숨겨진 점수 산정(scoring)은 불안을 조성합니다.

체크리스트:

영향을 받는 사람이 워크플로에서 AI가 어떻게 사용되고 있는지 이해할 수 있습니까?

7. 감사 및 수정 경로 (Audit and correction path)

직장 내 AI는 실수를 조사할 수 있는 방법이 필요합니다.

팀은 다음 질문에 답할 수 있어야 합니다:

• 어떤 데이터가 사용되었는지,
• 어떤 출력물이 생성되었는지,
• 누가 그것을 검토했는지,
• 어떤 결정이 뒤따랐는지,
• 출력물이 무효화되었는지 여부,
• 해당 인원이 이의를 제기했는지 여부,
• 그리고 그 이후에 무엇이 변경되었는지.

감사 경로(audit path)가 없다면, 회사는 해로운 결과에 대해 설명하지 못할 수 있습니다.

수정 경로(correction path)가 없다면, 동일한 실수가 반복될 수 있습니다.

체크리스트:

팀이 나쁜 결과가 발생한 후 시스템을 추적, 수정 및 개선할 수 있습니까?

간단한 직장 내 AI 결정 모델

직장 내 AI를 배포하기 전에, 해당 기능을 네 가지 수준 중 하나로 분류하십시오.

레벨 1: 보조형 (Assistive)

AI는 사람들이 더 빠르게 일하도록 돕지만, 누구도 평가하지 않습니다.

예시:

• 정책 문서 요약,
• 회의록 초안 작성,
• 인사(HR) 지식 베이스 콘텐츠 정리.

거버넌스(Governance) 요구사항: 기본적인 검토, 정확성 확인, 데이터 프라이버시(data privacy) 통제.

레벨 2: 평가형 (Evaluative)

AI가 개인, 팀, 후보자 또는 근로자에 대한 신호(signal)를 생성합니다.

예시:

• 후보자 순위 지정 (candidate ranking),
• 성과 점수 산정 (performance scoring),
• 생산성 신호 (productivity signal),
• 몰입 위험 플래그 (engagement risk flag).

거버넌스 요구사항: 데이터 품질 검토 (data-quality review), 공정성 확인 (fairness checks), 투명성 (transparency), 인간의 검토 (human review).

레벨 3: 의사결정 지원형 (Decision-supporting)

AI 출력값이 고용 관련 의사결정에 영향을 미칩니다.

예시:

• 후보자 최종 후보 명단(shortlist) 작성,
• 승진 준비 상태 추천,
• 징계 검토 제안,
• 교대 근무 또는 업무 할당에 영향.

거버넌스 요구사항: 더 강력한 문서화 (stronger documentation), 의미 있는 감독 (meaningful oversight), 감사 추적 (audit trail), 영향을 받는 당사자에 대한 소통 (affected-person communication).

레벨 4: 의사결정 주도형 (Decision-driving)

AI 출력값이 최종 결과에 강력하게 영향을 미치거나 결과를 촉발합니다.

예시:

• 후보자 자동 탈락,
• 접근 권한 축소,
• 근로자 정직,
• 급여 또는 업무량 변경,
• 해고 검토 촉발.

거버넌스 요구사항: 고영향 검토 (high-impact review), 엄격한 인간의 통제 (strict human control), 설명 가능성 (explanation), 이의 제기 또는 항소 경로 (appeal or challenge path), 지속적인 모니터링 (ongoing monitoring).

핵심은 직장 내 AI를 차단하는 것이 아닙니다.

핵심은 모든 직장 내 AI를 단순한 생산성 도구로 취급하는 것을 멈추는 것입니다.

창업자를 위한 시사점 (Founder takeaway)

직장 내 AI는 시간을 절약해 줄 수 있습니다.

하지만 AI가 사람에게 영향을 미칠 때는, 절약된 시간만이 유일한 측정 지표가 되어서는 안 됩니다.

제품 팀은 또한 다음 사항을 측정해야 합니다:

• 신호가 공정한지,
• 데이터가 의미 있는지,
• 인간이 출력값을 수정할 수 있는지,
• 영향을 받는 사람들이 시스템을 이해하고 있는지,
• 그리고 회사가 나중에 발생한 일에 대해 설명할 수 있는지.

제품에 던져야 할 질문은 다음과 같습니다:

AI가 관리자의 빠른 의사결정을 도울 수 있는가? 가 아닙니다.

질문은 다음과 같아야 합니다:

영향을 받는 당사자가 필요할 경우 그 결과를 이해하고 이의를 제기할 수 있는가?

이 지점이 바로 직장 내 AI가 거버넌스 결정(governance decision)이 되는 지점입니다.

훌륭한 직장 내 AI 기능은 단순히 회사가 더 빠르게 움직이도록 돕는 것에 그치지 않습니다.

그것은 워크플로 내의 사람들이 불분명하거나, 불공정하거나, 이의를 제기할 수 없는 결과로부터 스스로를 보호할 수 있게 합니다.

출처 (Sources)

출처 (Sources)

• European Commission: AI Act overview
• EU AI Act Service Desk: Annex III
• Reuters: Workplace AI and the EU AI Act deadline