학습 목적을 위해, 저는 continued pretraining을 사용하여 새로운 도메인에서 모델을 훈련하는 실험을 진행했습니다. 그런 다음 이를 더 유연하게 만들기 위해 RAG 단계를 추가하여 동적 데이터를 주입하고 안정적인 학습 데이터에 보강했습니다. 구체적인 예시는 qwen 3.5 4B를 가상의 지하철 시스템으로 훈련시켜, 모델이 여행 경로(여러 환승 포함 등)를 제공할 만큼 지도를 잘 학습하게 하는 것입니다. 여기서 핵심은 암기에 의존하는 훈련 코퍼스를 피하는 것입니다. 지하철 지도가 CPT를 통해 안정화되고 일반화된 후, 저는 동적 여행 안내(예: 역 폐쇄, 역 근처 콘서트 등)를 지원하기 위해 RAG 단계를 추가했습니다. 정말 재미있는 실험이었습니다. 관심 있으시면 여기에서 확인해 보세요: https://www.teachmecoolstuff.com/viewarticle/combining-rag-with-continued-pretraining-of-llms submitted by /u/funJS [link] [comments]