예를 들어, 하나의 필터(아마도 유사한 기능을 가진 이전 방식인 LZX에서 영감을 받은 것으로 추정되는)는 x86 코드의 중복성을 증가시키도록 설계된 "Intel E8 preprocessing"이라는 것이 있습니다.
이러한 프로그램이 있다고 상상해 봅시다:
mov foo, bar
cmp bar, baz
push foo
call write
push bar
call write
두 호출은 브랜치 위치에 *상대적(relative)*이므로, 동일한 명령어라도 두 가지 다른 인코딩을 갖게 됩니다. 압축 시에는 이를 *절대 주소(absolute addresses)*로 변환할 수 있습니다. 이런 방식으로 동일한 명령어가 두 번 나타나게 되어 훨씬 더 효율적으로 압축될 수 있습니다. 아카이브가 압축 해제되면, 이 변환은 원래 상태를 복원하기 위해 역전될 수 있습니다.
WinRAR에는 여러 일반적인 입력의 압축을 개선하는 약 12개의 표준 필터가 포함되어 있지만, 놀랍게도 아카이브를 통해 새로운 필터를 런타임에 정의할 수도 있습니다!
제가 알기로는 이 기능을 탐색하기 위한 도구는 존재하지 않습니다. 이것은 너무나 매력적이어서 가지고 놀고 싶었기 때문에 제가 몇 가지를 작성했습니다. 현재까지 RAR 툴체인이 작동하며, 프로그램 작성 방법에 대한 문서도 갖추었습니다.
코드는 github의 https://github.com/taviso/rarvmtools에서 확인하고 예제 프로그램을 볼 수 있습니다.
$cat helloworld.rs
#include <constants.rh>
#include <util .rh>
; vim: syntax=fasm
; 테스트 RAR 어셈블리 파일.
_start:
; 출력 버퍼에 메시지를 설치합니다
mov r3, #0x1000 ; 출력 버퍼.
mov [r3+#0], #0x6c6c6548 ; 'lleH'
mov [r3+#4], #0x57202c6f ; 'W ,o'
mov [r3+#8], #0x646c726f ; 'dlro'
mov [r3+#12], #0x00000a21 ; '!
'
mov [VMADDR_NEWBLOCKPOS], r3 ; 포인터
mov [VMADDR_NEWBLOCKSIZE], #14 ; 크기
call $_success
$make helloworld.rar
cpp -I../stdlib < helloworld.rs > helloworld.ri
../raras -o helloworld.ro helloworld.ri
../rarld helloworld.ro > helloworld.rar
rm helloworld.ri helloworld.ro
$unrar p -inul helloworld.rar
Hello, World!
현재 툴체인은 최소한의 링커(linker)와 어셈블러(assembler)로 구성되어 있습니다. 컴파일러를 포팅하는 아이디어(아마도 llvm 백엔드나 gcc 타겟일 수 있음)에 재미를 붙여보고 있지만, 제가 너무 무리하는 건지 잘 모르겠습니다.
말할 필요도 없이, WinRAR처럼 터무니없는 것을 프로그래밍하는 것은 흥미로운 과제를 제시하지만, 이것이 매우 광범위하게 배포되었다는 사실 자체가 몇 가지 재미있는 가능성을 제공합니다. 여기 아키텍처에 대한 간략한 개요가 있습니다.
이 가상 머신(VM)은 명확하게 x86에서 영감을 받았기 때문에, x86(가급적 인텔 어셈블리 구문)에 대한 친숙함이 도움이 될 것입니다. r0부터 r7까지 이름 붙여진 8개의 레지스터가 있습니다.
r7은 스택 관련 작업(예: push, call, pop 등)을 위한 스택 포인터(stack pointer)로 사용되며 아래 방향으로 증가합니다. RarVM 필터는 최대 250,000,000개의 명령어를 실행할 수 있으며, 이 지점에서 종료됩니다. 하지만 파일에 포함될 필터 개수에 제한은 없으므로, 작업을 단순히 여러 개의 250M 사이클 청크로 분할할 수 있습니다. 만약 명령어 포인터(instruction pointer)가 코드 세그먼트 외부로 이동하면 프로그램이 성공적으로 완료된 것으로 간주됩니다.
필터는 0x40000 바이트 주소 공간을 가지며, 조건부 분기 명령어(conditional branch instructions)를 통해 또는 pushf/popf(x86에서와 같이)를 통해 접근할 수 있는 3개의 상태 플래그(status flags): ZF (Zero), CF (Carry), SF (Sign)에 접근합니다.
지원되는 피연산자 유형은 다음과 같습니다:
- 레지스터 (r0, r1, ..., r7)
- 메모리 참조 ([#0x12345])
- 레지스터 간접 참조 ([r0])
- 베이스 + 인덱스 간접 참조 ([r4+#0x1234])
- 즉시값 (Immediate) (#0x12312)
편의상, 어셈블러는 컴파일 시간에 즉시값으로 해결되는 심볼릭 참조(symbolic references)도 지원하며, 앞에 $를 붙이기만 하면 됩니다.
메모리 참조 개수에 제한이 없기 때문에(인텔과 같은 방식), 이 구문은 완벽하게 유효합니다: mov [r0+#0x1234], [r7-#12]
RAR 프로그램은 자체 초기 레지스터 값을 제공하거나 일부 상태 정보를 포함하는 기본 세트를 사용할 수 있습니다. 사용자가 자체 레지스터를 지정하지 않으면, 다음과 같이 설정됩니다:
- r3: 글로벌 메모리 버퍼(Global Memory Buffer)의 주소
- r4: 필터 블록 길이(Filter Block Length)
- r5: 필터 실행 횟수(Filter Execution Count)
- r7: 주소 공간의 최상단 (따라서 스택은 아래로 증가합니다).
동적 출력 (Dynamic Output)
여기서 흥미로운 부분이 나옵니다. RAR는 아카이버(archiver)가 목적이지 프로그래밍 환경이 아니기 때문에, WinRAR의 Windows 버전은 프로그램의 출력이 볼륨 헤더에 저장된 CRC와 일치해야 합니다.... 윽. 이는 일반적으로 컴파일 시간에 예측할 수 없는 출력을 가진 프로그램을 작성할 수 없다는 것을 의미하며, 상황을 다소 흥미롭지 않게 만듭니다. 하지만 너무 쉽게 포기할 필요는 없습니다.
Julien이 동적 CRC 보상 알고리즘(dynamic CRC compensation algorithms)에 대한 논문을 작성했습니다 (프랑스어였지만 코드는 이해 가능합니다). 저는 그의 알고리즘을 RarVM으로 이식하여, 이제 고정된 CRC와 일치하도록 동적 출력을 생성하고 런타임에 자체 출력을 보상할 수 있는 셀프 호스팅(self-hosted) RAR 파일을 갖게 되었습니다.
네, 상당히 터무니없습니다.
다음은 CRC 보상 코드의 일부입니다:
; 버퍼의 처음 7바이트 내 몇 바이트를 수정하여 CRC32가 요청된 값과 일치하도록 강제합니다. 이 프로세스를 위해 버퍼의 처음 몇 바이트는 예약해야 합니다.
;
;
; Julien Tinnes의 논문을 기반으로 한 원래 구현입니다.
_compensate_crc:
; [r6+#16] target // 원하는 CRC 값 (Desired CRC value).
; [r6+#12] length // 버퍼 크기 (Size of buffer).
; [r6+#8] buffer // 보상할 버퍼 포인터 (Pointer to buffer to compensate).
; [r6+#4] r
; [r6+#0] s
; [r6-#4] modlen // 길이 % 4 (Length % 4)
push r6 ; 프레임 포인터 저장(save frame pointer)
mov r6, r7 ; 새 프레임 생성(create new frame)
sub r7, #4 ; 변수 할당(allocate variables)
push [r6+#12] ; 길이 푸시
push [r6+#8] ; 버퍼 푸시
call $_crc_block ; _crc_block(buffer, length)
xor [r6+#16], r0 ; target ^= currentcrc
push #4 ; 제수 (divisor) 푸시
push [r6+#12] ; 길이 푸시
call $_mod ; _mod(length, 4)
mov [r6-#4], r0 ; 이 계산 저장(save this calculation)
sub [r6+#12], [r6-#4] ; length -= modlen
div [r6+#12], #4 ; 4로 나누기
sub [r6+#12], #1 ; _find_vector_x를 위한 행(row) 계산
push [r6+#12] ; row 값 푸시
push [r6+#16] ; target 값 푸시
call $_find_vector_x ; _find_vector_x(target, row) 호출
push r0 ; value 값 푸시
call $_bswap ; 결과 바이트 스왑(byte swap) 수행
add [r6+#8], [r6-#4] ; 수정할 오프셋 계산
mov r1, [r6+#8] ; 주소 로드
xor [r1], r0 ; crc 보정 (compensate)
xor r0, r0 ; 반환 코드(return code) 설정
mov r7, r6 ; 프레임 정리
pop r6
ret
결과:
$
cat sample.rs 내용:
#include
#include
#include
#include
; vim: syntax=fasm
; 이 어셈블리 파일은 구문(syntax)을 시연하는 RAR 테스트 파일입니다.
_start:
; 출력 버퍼에 메시지 설치
mov r3, #0x1000 ; 출력 버퍼 주소.
mov [r3+#0], #0x41414141 ; 보정을 위한 패딩 (Padding)
mov [r3+#4], #0x0a414141 ; 보정을 위한 패딩 (Padding)
mov [r3+#8], #0x6c6c6548 ; 'lleH'
mov [r3+#12], #0x57202c6f ; 'W ,o'
mov [r3+#16], #0x646c726f ; 'dlro'
mov [r3+#20], #0x00000a21 ; '!
'
mov [VMADDR_NEWBLOCKPOS], #0x00001000
mov [VMADDR_NEWBLOCKSIZE], #22
; 필요한 CRC를 위해 보정(Compensate) 수행
push RAR_FILECRC
push [VMADDR_NEWBLOCKSIZE]
push [VMADDR_NEWBLOCKPOS]
call $_compensate_crc
test r0, r0
jz $finished
call $_error
finished:
call $_success
$
make sample.rar 실행:
cpp -Istdlib < sample.rs > sample.ri
./raras -o sample.ro sample.ri
./rarld sample.ro > sample.rar
rm sample.ri sample.ro
$
unrar p -idq sample.rar 실행:
AAc��!A
Hello, World!