설명에는 정답(ground truth)이 필요합니다. 시스템에 대한 설명을 검증하려면 그 내부 작동 방식을 알아야 하는데, 이것이 바로 설명 가능한 AI (XAI)가 가장 절실히 필요한 곳에서 결여되어 있는 요소입니다. 우리가 연구할 수 있는 시스템은 두 진영으로 나뉩니다. 단순하고 절차적인 단일 결정 트리(one-decision trees), 규칙 목록(rule lists), 희소 선형 모델(sparse linear models)은 메커니즘이 알려져 있지만 사소하기 때문에, 이를 설명하는 것은 아무것도 테스트하지 못합니다. 반면 진정으로 복잡한 시스템—심층 신경망(deep networks), 실세계 작업—은 XAI가 필요하지만 내부 작동 방식에 대한 정답(ground-truth)이 없으므로, 설명이 그럴듯하고 자신감 있어 보일지라도 틀릴 수 있으며 이를 확인할 방법이 없습니다. 우리는 진정으로 복잡하면서도 완전히 명시되어 있어 구조적으로 검사 가능한 연구 대상을 통해 이러한 이분법을 제거하며, 따라서 경사 하강법(gradient methods)을 적용할 수 있고 완전히 미분 가능(fully differentiable)합니다. 우리는 심층 강화학습 (deep reinforcement learning)의 요람이자 실제 컴퓨터 아키텍처인 Atari 2600 Video Computer System (VCS)를 Julia (jutari)와 JAX (jaxtari)를 사용하는 두 개의 독립적인 엔드 투 엔드 (end-to-end) 미분 가능 에뮬레이터로 재구현하였으며, 각각 xitari를 기준으로 비트 단위(bit-for-bit) 검증을 완료했습니다. 두 에뮬레이터 모두 지원되는 64개의 Arcade Learning Environment (ALE) 게임 전체에서 xitari를 재현합니다: 64/64 바이트 단위로 동일한 RAM과 64/64 픽셀 단위로 동일한 화면을 보여줍니다. 카트리지 ROM을 가중치 텐서(weight tensor)로, RAM을 소프트 테이프(soft tape)로, 제어 흐름(control flow)을 게이트(gates)로 취급함으로써, 우리는 임의의 유한한 온도(finite temperature)에서 순전파(forward pass) 시 미분 가능한 (소프트) 실행이 원래의 (하드) 실행과 비트 단위로 동일함을 증명하는 동시에, 비트 로직이 없는 곳에 대리 경사(surrogate gradients)를 노출합니다. JAX 포트 또한 GPU 경로를 개방합니다: 배치 처리된 미분 가능한 롤아웃(batched differentiable rollouts)은 단일 범용 GPU에서 초당 수백만 환경 단계(environment-steps/s)에 도달합니다. 이 시스템은 29일 동안 약 137시간의 활성 작업 시간을 통해 구축되었으며, 그 중 상당 부분은 코딩 에이전트(coding agents)에 의해 자율적으로 작성되었습니다. 본 논문은 기초를 구축하고 검증하며, 이론적 및 정성적 경사 연구를 통해 그 위에서 경사 기반 XAI가 가능하다는 것을 보여줍니다. 두 포트의 전체 코드는 https://github.com/akmaier/UnderstandingVCS 에서 MIT 라이선스 하에 사용할 수 있습니다.