모든 기업에는 인사(HR) 부서가 있습니다. 인사 부서의 역할은 직원들이 좋은 일을 하고 싶게 만드는 것이 아닙니다. 그것은 기업 문화, 인센티브, 리더십의 영역입니다. 인사 부서의 역할은 더 좁습니다. 바로 피해가 발생하기 전에 정렬 불량(misalignment)을 감지하는 것입니다. 성과 검토, 행동 징후, 퇴사 인터뷰, 문서 기록 등이 그 예입니다.

우리는 인간을 대상으로 수천 년 동안 이 일을 해왔습니다. 그리고 이것은 대체로 효과가 있습니다. 인간이 고용주의 목표와 완벽하게 정렬되어 있기 때문이 아니라, 정렬 불량이 발생했을 때 조치를 취할 수 있을 만큼 충분히 일찍 이를 잡아내는 감지 인프라(detection infrastructure)를 구축했기 때문입니다.

그런데 왜 우리는 AI 정렬(AI alignment) 문제를 완전히 새로운 문제인 것처럼 다루고 있는 걸까요?

감지 격차 (The Detection Gap)

여기서 비유가 깨지는 지점이 발생하며, 바로 이곳에 진정한 엔지니어링 과제가 존재합니다.

인사 관리가 작동하는 이유는 인간의 정렬 불량이 재앙적인 결과로 이어지기 전에 행동적으로 표출되는 경향이 있기 때문입니다. 우리에게는 신체 언어, 사회적 신호, 내부 고발자, 감사 추적(audit trails)과 같은 수천 년간 축적된 패턴 인식 능력이 있습니다. 감지는 보통 피해보다 앞서 일어납니다.

반면 AI 모델의 경우, 우리에게는 **감지 격차(detection gap)**가 존재합니다. 모델이 반드시 무언가를 숨기고 있다는 뜻이 아니라, 현재 모델 내부를 들여다보고 모델이 실제로 무엇을 최적화(optimizing)하고 있는지 확인할 수 있는 신뢰할 수 있는 방법이 부족하다는 의미입니다. 트랜스포머(transformer) 모델의 신체 언어를 읽을 수는 없으니까요.

이것은 철학적인 문제가 아닙니다. 인프라의 문제입니다.

잘못된 대응

이 시스템 내부에서 무슨 일이 일어나는지 확인할 수 없다는 상황에 대한 기본 대응은 '속도를 늦추자', '주의하자', '배포를 줄이자'였습니다.

저는 이것이 거꾸로 된 생각이라고 봅니다.

만약 당신의 회사에 인사(HR) 문제, 즉 당신이 감지할 수 없는 행동을 하는 직원들이 있다면, 당신은 회사를 폐쇄하지 않을 것입니다. 대신 더 나은 모니터링 시스템을 구축할 것입니다. 더 나은 감사 시스템과 더 나은 감지 도구를 만들 것입니다.

AI에도 동일한 논리가 적용됩니다. 모델 내부를 볼 수 없다에 대한 해답은 모델 배포를 중단하라가 아닙니다. 바로 관측성 계층(observability layer)을 구축하는 것입니다.

AI가 스스로를 감사하게 하라

대부분의 안전(safety) 논의가 놓치고 있는 부분이 바로 이것입니다. AI 시스템을 이해하기 위한 가장 좋은 도구는 AI 시스템 그 자체일지도 모릅니다.

Anthropic의 자체적인 해석 가능성 (Interpretability) 연구는 이미 이 방향으로 수렴하고 있습니다. Claude를 사용하여 Claude 내부의 뉴런(neurons)이 무엇을 하고 있는지 설명하는 방식입니다. 이것은 단순한 눈속임이 아닙니다. 조직을 내부에서부터 이해하고 있는 사람들로 구성된 감사실 (internal affairs department)을 구축하는 것과 같습니다.

정렬 병목 현상 (alignment bottleneck)은 주의력의 문제가 아닙니다. 그것은 인간의 인지적 대역폭 (cognitive bandwidth) 문제입니다. 우리는 모든 가중치 (weight), 모든 활성화 (activation), 모든 결정 경로 (decision path)를 수동으로 검사할 수 없습니다. 하지만 기계의 속도로 작동하는 모델은 기계의 속도로 다른 모델을 감사 (audit)할 수 있습니다.

// 이것이 실제로 구현된 `AI를 위한 인사(HR for AI)`의 모습입니다
const evalResult = await evaluate(agentOutput, {
  checks: [
...

구조를 주목하십시오: 결정론적 검사 (deterministic checks)를 먼저 수행하고 (저렴하고, 신뢰할 수 있으며, 확장 가능함), 휴리스틱 (heuristics)을 두 번째로 하며 (여전히 AI가 필요하지 않음), 모델을 판사로 사용하는 방식 (model-as-judge)을 마지막에 배치합니다 (오직 진정한 모호함이 있을 때만). 직원이 제시간에 출근했는지 확인하기 위해 CEO에게 전화하지는 않습니다. 출입 카드 판독기를 사용합니다.

이것이 실무적으로 의미하는 바

만약 당신이 프로덕션 환경에서 — CI, 코드 리뷰, 자율 워크플로우 등에서 — AI 에이전트 (AI agents)를 실행하고 있다면, 당신은 이미 이것이 필요합니다. 당신의 에이전트들은 충돌(crash)이 발생했는가?라는 질문 외에는 아무도 검증하지 않는 출력물들을 지금 이 순간에도 만들어내고 있습니다.

당신이 던져야 할 질문들은 다음과 같습니다:

1. 실제로 과업을 해결했는가? (출력을 생성했는가?가 아니라, 관련 있는 출력을 생성했는가?)
2. 무언가를 날조(fabricate)했는가? (참조, URL, 파일 경로, 통계 등)
3. 표류(drift)했는가? (과업을 시작했으나, 완전히 다른 곳에서 끝났는가?)
4. 출력이 실행 가능한가 (actionable)? (아니면 듣기에는 좋지만 아무런 내용도 없는 일반적인 미사여구인가?)

이 모든 것들은 탐지 가능합니다. 그중 대부분은 다른 모델을 호출하지 않고도 탐지 가능합니다. 80%의 사례는 순수하게 결정론적 검사 — 형식 검증 (format validation), 참조 검증 (reference verification), 차이 분석 (diff analysis), 제약 조건 일치 (constraint matching) — 로 해결됩니다.

진정한 비판

프런티어 연구소 (frontier labs)들이 우리는 속도를 늦춰야 한다라고 말할 때, 저는 이를 우리는 아직 탐지 인프라를 구축하지 못했다라고 듣습니다. 일리가 있는 말입니다. 어려운 일이니까요. 하지만 프레이밍 (framing)이 중요합니다.

인간이 이해할 때까지 속도를 늦춰라는 패배하는 전략입니다. 왜냐하면 시스템이 인간 연구자들이 따라잡을 수 있는 속도보다 더 빠르게 복잡해지고 있기 때문입니다.

AI의 자체 감사 (self-audit) 능력을 가속화하라가 승리하는 전략입니다. 인사 (HR) 부서를 구축하십시오. 그 부서를 모니터링 대상 시스템의 속도와 규모에 맞춰 작동할 수 있는 모델들로 채우십시오.

이것은 무모한 행동이 아닙니다. 그것은 엔지니어링 (engineering)입니다.

핵심 요약 (Takeaway)

정렬 (Alignment)은 멈춰야 할 이유가 아닙니다. 그것은 구축해야 할 이유입니다. 구체적으로 다음을 구축해야 합니다:

• 행동 측면에서 정렬 불량 (misalignment)을 포착하는 탐지 인프라 (detection infrastructure)
• 비용이 많이 드는 모델 기반 평가 (model-as-judge) 호출에 과도하게 의존하지 않는 계층적 평가 (tiered evaluation)
• AI가 AI를 기계의 속도로 모니터링하는 자가 감사 (self-auditing) 시스템

AI를 위한 인사 (HR) 부서는 아직 존재하지 않습니다. 누군가는 그것을 만들어야 합니다.

저는 agent-eval - AI 에이전트 출력물을 위한 계층적 평가 프레임워크 - 과 AgentLens - 에이전트 행동을 위한 관측성 (observability) 플랫폼 - 을 통해 이 문제를 연구하고 있습니다. 탐지 격차 (detection gap)는 실재하지만, 이는 실존적 위기가 아닌 엔지니어링 문제입니다.