도메인 수직 계열화에 따른 Transformer 기반 언어 모델: 아키텍처, 응용 및 비판적 평가

Transformer 기반 언어 모델은 자연어 처리 (NLP)의 기본 토대가 되었으며, 새로운 모델 출시 속도가 너무 빨라 실무자들이 지속 가능한 아이디어와 점진적인 발표의 소음(noise)을 구분하기 어려워졌습니다. 본 리뷰는 두 가지 수준에서 작업합니다. 메커니즘 수준에서는 주요 Transformer 제품군을 인코더 전용 (encoder-only), 디코더 전용 (decoder-only), 인코더-디코더 (encoder-decoder), 긴 문맥 (long-context), 순열 기반 (permutation-based), 그리고 생성자-판별자 (generator-discriminator) 변형을 포함하는 작동 분류 체계로 정리합니다. 그런 다음, 실무적 양상을 변화시킨 2023년 이후의 발전 사항들로 논의를 확장합니다: 지시어 튜닝 (instruction tuning), 인간 피드백 기반 강화학습 (RLHF), 직접 선호 최적화 (DPO), 전문가 혼합 (MoE) 스케일링, 검색 증강 (retrieval augmentation), 그리고 OpenAI, Anthropic, Google, Meta, Mistral, DeepSeek의 현재 플래그십 모델 제품군이 이에 해당합니다. 활용 수준에서는 의료, 금융, 법률, 교육, 고객 서비스, 창의적 글쓰기 및 과학적 연구 전반에 걸친 배포 사례를 조사합니다. 이를 바탕으로 각 분야를 Transformer를 적절한 도구로 만드는 특정 능력과 연결합니다. 본 논문의 기여는 이러한 조사에 기반한 비판적 평가입니다. 우리는 배포 결정에 중요한 네 가지 축을 기준으로 아키텍처를 비교하며, 파라미터 수와 에너지 비용 사이의 트레이드오프 (trade-off)를 정량화합니다. 또한 정렬 (alignment) 방법, 데이터 출처 (data provenance), 그리고 벤치마크 포화 (benchmark saturation)가 모델을