Transformer의 이론적 이해는 대규모 언어 모델(LLMs)의 능력과 한계를 더 잘 이해하는 데 필수적입니다. 어텐션 기반 모델의 표현력을 분석한 많은 연구가 진행되어 왔습니다. 수작업으로 설계된 가중치를 제안하거나 계산 복잡도 논증을 사용함으로써, 과거의 많은 이론적 연구들은 어떤 작업이 Transformer 모델의 가설 클래스에 속하는지, 그리고 그렇지 않은지를 규명하려고 노력해왔습니다. 하지만 이러한 해법들의 학습 가능성을 조사한 연구는 거의 없습니다. 본 연구에서는 이 목표를 향한 진전을 이루고자 합니다. 최근 손실 지형 분석(loss landscape analysis) 연구에서 영감을 받아, Transformer를 이용해 C-RASP 구성을 학습하기 위한 예비 샘플 복잡도 경계(sample complexity bounds)를 제안합니다.