역사적인 암호화 필사본(encrypted manuscripts)은 암호학(cryptology), 언어학(linguistics), 고문서학(paleography), 그리고 컴퓨터 비전(computer vision)의 교차점에서 매우 까다로운 문제를 제기합니다. 현재의 자동 해독(automatic decipherment) 방식은 대개 두 단계의 파이프라인에 의존합니다. 즉, 필사본 이미지로부터 암호 기호(cipher symbols)를 전사(transcription)한 다음, 이를 평문(plaintext)으로 복호화(decryption)하는 방식입니다. 그러나 이러한 설계는 전사 오류(transcription errors)에 민감하며, 이 오류는 최종 출력물로 전파됩니다. 본 논문에서는 중간 전사 단계를 건너뛰고 암호화된 필사본 이미지를 평문으로 직접 매핑하는 엔드투엔드(end-to-end) 방식인 직접 이미지 복호화(Direct Image Decryption)를 제시합니다. 코피알레 암호(Copiale cipher)를 사례 연구로 사용하여, 대규모의 암호 유사 학습 데이터를 생성하기 위한 합성 데이터 생성 파이프라인을 구축하고, 전통적인 파이프라인과 제안된 결합 아키텍처(joint architecture)를 비교합니다. 결과에 따르면, 이미지-투-평문(image-to-plaintext) 결합 모델링은 전통적인 전사 기반 파이프라인에 대한 유망한 대안임을 보여줍니다.