토큰화가 필요 없는 (Tokenization-free) 계층적 모델은 어휘 설계의 복잡성, 미등록 단어 (Out-of-Vocabulary, OOV) 오류, 언어별 제약과 같은 내재적인 전처리 문제를 해결하며 기존의 대규모 언어 모델 (Large Language Models, LLMs)을 대체할 유망한 대안으로 떠오르고 있습니다. 그러나 이러한 바이트 수준 (byte-level) 방식에서 중요한 과제는 압축률 (compression ratio)의 최적화이며, 이는 청크 (chunks)를 통해 바이트 데이터를 처리하는 모델의 성능을 결정짓는 핵심 요소입니다. 본 논문에서는 계층적 구조 내에서 동적 청킹 (dynamic chunking)의 효과를 높이기 위해 설계된 새로운 바이트 압축 제어 메커니즘인 적응형 타겟 동적 청킹 (Adaptive Targeted Dynamic Chunking, ATDC)을 제안합니다. 우리의 접근 방식은 커리큘럼 학습 (curriculum learning)을 활용하여 학습 과정 동안 압축률을 점진적으로 조정하며, 학습 과정을 안정화하기 위해 낮은 압축에서 높은 압축으로 전환합니다. 우리는 목표 압축률과 최내곽 청크당 바이트 수 (Bytes-Per-Innermost-Chunk, BPIC) 사이의 관계를 확립하는 분석을 제공하여, 학습 단계 전반에 걸친 청크 크기 (chunk-size)의 진화를 추적할 수 있도록 합니다. FineWeb-Edu 100B 데이터셋을 통해 수행된 평가 결과, ATDC를 탑재한 계층적 모델은 바이트 및 토큰 수준 모두에서 작동하는 기존 베이스라인 (baselines)과 비교하여 경쟁력 있는 바이트당 비트 (Bits-Per-Byte, BPB) 성능을 달성함을 입증했습니다. 또한, 제안된 방법은 바이트 수준 처리의 내재적인 강건성 (robustness)과 유연성을 유지하면서도, 고정된 압축률을 사용하는 모델에 비해 더 안정적인 학습 역학 (training dynamics)과 다양한 다운스트림 태스크 (downstream tasks)에서의 우수한 최종 성능을 보여줍니다.