GPT 5.6 Sol Ultra를 활용한 Codex는 강력한 성능을 발휘하며, 이렇게 이른 시기에 불가능할 것이라 생각했던 일들을 해내고

요약

기계론적 해석 가능성(mechanistic interpretability) 연구를 돕기 위해 Codex와 GPT 5.6 Sol Ultra를 활용하여 구축한 CORTEX 도구를 소개합니다. CORTEX는 로컬 환경에서 모델의 내부 동작을 시각화하고 실험할 수 있는 네이티브 Windows 애플리케이션입니다.

핵심 포인트

• CORTEX는 토큰 확률, 로짓 렌즈, 어텐션 맵 등을 시각화하는 도구입니다.
• 로컬 IPC를 통해 Python/PyTorch 백엔드와 연결되어 오프라인으로 작동합니다.
• 활성화 패칭 및 어텐션 헤드 절제 등 인과적 실험 기능을 지원합니다.
• 현재 GPT-2 및 Llama 계열 모델을 지원하며 향후 확장 예정입니다.