아키텍처의 중요성, 그리고 제가 감행한 다양한 실험들

요약

작성자는 모델의 가중치뿐 아니라 RYS 레이어 복제 등을 통해 기하학적 구조 자체를 조정하는 실험을 수행했습니다. Gemma와 Qwen 계열 모델 간의 강점 차이를 분석하며, 특히 LFM3 같은 컨볼루션 아키텍처가 특정 작업에 효과적임을 발견했습니다. 이 과정은 아키텍처 최적화 및 다양한 훈련 기법(SFT/RL)의 중요성을 보여줍니다.

핵심 포인트

• Gemma 모델은 의미론 및 자연어 처리 전반에 강점을 보이며, Qwen은 코딩이나 수학적 작업에 뛰어남.
• 모델 성능 최적화를 위해 단순히 파인튜닝을 넘어 아키텍처 자체를 조정하는 실험이 필요함.
• LFM3와 같은 컨볼루션 기반 아키텍처가 기존 트랜스포머 모델보다 특정 프로젝트 작업과 더 잘 맞을 수 있음.
• 훈련 과정에서 SFT/RL 실행 횟수보다 아키텍처의 적합성이 최종 테스트 결과에 큰 영향을 미칠 수 있음.