도메인 수직 계열화에 따른 Transformer 기반 언어 모델: 아키텍처, 응용 및 비판적 평가

요약

Transformer 기반 언어 모델의 아키텍처 분류와 2023년 이후의 주요 기술적 발전을 리뷰합니다. 다양한 모델 변형과 학습 방법론을 정리하고, 도메인별 활용 사례 및 파라미터와 에너지 비용 간의 트레이드오프를 비판적으로 평가합니다.

핵심 포인트

• Transformer 아키텍처의 메커니즘별 분류 체계 정리
• RLHF, DPO, MoE 등 최신 모델 학습 및 스케일링 기술 분석
• 의료, 금융, 법률 등 도메인별 특화된 활용 사례 조사
• 파라미터 수와 에너지 비용 간의 정량적 트레이드오프 분석