Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 도메인 특화 AI 모델을 고도화하는 단계적 학습 파이프라인을 제시합니다. 기본 모델 위에 연속 사전 학습(Continuous Pre-training)을 진행하고, 이후 SFT와 에이전트 기반 RL을 거치는 체계적인 접근법을 설명합니다. 특히 공개 벤치마크 대신 실제 업무 환경을 반영한 평가 세트를 구축하는 것이 중요함을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기귀하의 팀은 오픈 웨이트(open weight) 체크포인트와 코퍼스(corpus)를 선택했습니다. 가장 유혹적인 움직임은 GPU 일정을 잡고 나중에 혼합 비율을 조정하는 것입니다. Thomson Reuters의 Joel Hron과 Intercom의 Fergal Reid는 모두 훈련 과정을 평가가 데이터 옆에 위치하는 단계별 파이프라인으로 설명하며, Hron은 유지된 역량을 명시적인 목표로 간주합니다. 저는 아래 질문들에 답할 수 있을 때까지 해당 작업을 보류해야 한다고 생각합니다.
대부분의 제품 팀은 처음부터 사전 학습(pretraining)을 수행하지 않습니다. 그들은 기본 모델(base model)을 계층적으로 적응시킵니다. 연속 사전 학습 (Continued pre-training)은 기존 체크포인트 위에 더 많은 레이블 없는 도메인 텍스트를 추가합니다. 지도 미세 조정(Supervised fine-tuning)과 선호도 최적화(preference optimization)는 레이블이 지정된 행동을 가르칩니다. 에이전트 기반 강화 학습(Agentic reinforcement learning)은 하네스(harness) 내부에서 도구 사용법을 가르칩니다.
Hron은 Thomson의 스택을 다음과 같은 순서로 매핑합니다: 오픈 소스 시작점 재정렬 (Imperial College의 Snowdon 모델, Qwen 3.5 계열 출신), 다음으로 선택된 Thomson Reuters 콘텐츠(Westlaw, Practical Law, Checkpoint, Reuters News Archive)에 대한 연속 사전 학습, 그 다음 인간 전문가를 통한 미세 조정 및 직접 선호도 최적화, 마지막으로 TR 애플리케이션 접근을 통한 에이전트 기반 RL. 인터뷰 당시에도 콘텐츠 코퍼스의 10% 미만이 연속 사전 학습에 사용되었으며, 성장할 여지가 남아있었습니다.
Intercom에서의 Reid의 경로는 LoRA와 같은 파라미터 효율적 실험으로 시작하여, 더 어려운 정책을 위해 전체 지도 미세 조정과 강화 학습을 결합하는 대형 GPU 노드에서의 분산 훈련(distributed training)으로 나아갔습니다. 단계 레이블은 중요합니다. 왜냐하면 각 단계는 다른 평가 슬라이스(eval slices)와 다른 실패 모드(failure modes)를 필요로 하기 때문입니다.
공개 벤치마크를 직무 기반 테스트의 대체재로 취급해서는 안 됩니다. Hron은 선별된 학습 데이터에 해당 직무를 동등하게 잘 나타내는 '좋은 평가(evals)'를 결합합니다. Thomson은 CoCounsel Bench (수천 개의 법률 질의 수준이며 거의 매일 증가함)와 내부 법률 벤치마크, 공개 법률 벤치마크를 사용합니다. 보유 능력 측면에서 팀은 대략 열 또는 열한 가지 일반적인 차원(법률, 세금, 저널리즘, 수학, 코딩, 지침 따르기, 일반 추론, 긴 컨텍스트 등)을 추적하며, 인터뷰 후 일주일 뒤에 Qwen, Snowdon, Thomson을 거미줄 스타일 플롯(spider-style plot)으로 비교하는 기술 논문 그래픽을 설명합니다.
Reid는 오프라인 스위트와 라이브 트래픽에 대해 더 직설적으로 이야기합니다. 아무리 신중하게 백테스트나 평가를 구축하더라도, 실제 운영 환경에서 발생하는 일은 그 결과와 다를 수 있습니다.
Intercom은 여전히 백테스트(실제 고객 환각 사례, 답변 품질에 대한 LLM 심사)에 투자하지만, 배포 전에 해결 신호(resolution signals)를 대상으로 프로덕션 환경에서 A/B 테스트를 수행합니다. 저는 이 방식을 따를 것입니다: 훈련 전에 실제 작업을 반영하는 내부 스위트를 동결하고, 사용자에게 영향을 미치는 모든 것에 대한 프로덕션 게이트를 계획하며, 백테스트만으로는 모든 혼란 변수(confounder)를 포착할 수 없다는 점을 받아들여야 합니다 (Reid는 지연 시간(latency)이 오프라인에서 절대 인코딩할 수 없는 방식으로 해결률을 변화시킬 수 있다고 언급합니다).
CPT 전에 평가 버킷을 정의하는 스케치 (TR 또는 Intercom 코드가 아닌 일러스트레이션용):
# Sketch: define eval lanes before any training job
RETAIN = ["coding_snippets", "math_word_problems", "instruction_following"]
GAIN = ["domain_qa", "tool_use_with_apis", "citation_style"]
...
재앙적 망각은 제품이 이미 기본 모델이 가지고 있는 기술에 의존하게 되면 더 이상 추상적인 연구 용어가 아닙니다. Hron에 따르면 Thomson Reuters 사용자는 여전히 오픈 소스 기반의 코딩, 수학, 일반 추론 능력이 필요하며, 엔지니어링 자원의 상당 부분이 이러한 유창성을 잃지 않으면서 TR 데이터를 추가하는 데 쓰입니다.
하지만 제가 생각하기에 더 중요한 것은 다른 어떤 영역에서도 성능이 저하되지 않는다는 것입니다.
— Joel Hron, CTO, Thomson Reuters
그는 그 결과가 0은 아니었다고 솔직하게 말했습니다. 그는 코딩과 수학에서 매우 작은 성능 저하(regression)를 설명했습니다.
용어집 구성 방식도 이러한 관행을 따릅니다. 새로운 도메인에서의 이득 측정과 유지해야 하는 역량에 대한 성능 측정을 병행하는 것입니다. 일반 데이터와 도메인 데이터를 혼합하여 지속적인 사전 학습 과정 중 피해를 제한할 수는 있지만, 그 혼합 비율은 평가하기 전까지는 가설일 뿐입니다.
(Thomson이 CPT 분율로 작게 시작했듯이) 코퍼스 커버리지를 확장하기 전에, 단 하나의 평균 점수가 아닌 도메인 향상도와 유지 영역 모두에 대한 체크포인트별 보고서를 요구할 것입니다.
RL 또는 다중 목표 선호도 학습(multi-objective preference training)을 추가하면 점수가 하나의 목표가 됩니다. 보상 해킹 (reward hacking)이란 모델이 승인되지 않은 출처에서 답변을 얻는 것과 같이 의도된 작업을 놓치는 지름길을 통해 점수를 만족시키는 경우입니다. 이는 Thomson의 Westlaw 및 Practical Law에 대한 harness와 같은 에이전트형 RL(agentic RL)이나, 해결 모델(resolution model)과 추가적인 LLM 심사위원(답변 길이, 글머리 기호 사용 등)을 기반으로 구축된 Intercom의 오프라인 RL 스택에서 중요합니다.
Reid는 목적 함수를 설계하는 것이 대규모로 모델을 실행하기 위한 인프라에 비해서는 “상대적으로 작은 부분”이라고 말합니다. 저는 이것을 경고로 받아들일 것입니다. 영리한 프록시(resolution model, LLM judge, 벤치마크 리더보드)가 사용자 가치에서 벗어날 수 있으며, 답변이 어떻게 생성되었는지 감사하는 것이 이를 포착하는 한 가지 방법입니다. Intercom은 또한 프로덕션 A/B 테스트를 실행하여 하드한 해결책(hard resolutions)이 떨어지는 동안 소프트한 해결책(soft resolutions)이 오르지 않도록 관리하는데, 이는 제품을 방어 기제 장치로 변질시키는 것을 막는 하나의 안전장치입니다.
희소한 레이블을 모델이 생성한 예시로 보강하는 경우, 합성 데이터(synthetic data)를 증강(augmentation)으로 취급하고, 실제 실패 사례에 대해 검증하며, 행 수가 많다고 해서 학습이 더 좋다는 가정을 하지 마십시오. 합성 데이터는 생성기의 편향(bias)과 사각지대(blind spot)를 물려받으며, 모델 출력에 과도하게 학습하는 것은 오류를 증폭시킬 수 있습니다.
이 주제에 대한 더 많은 내용과 관련 에피소드는 Chain of Thought에서 확인할 수 있습니다. 이는 이 에피소드를 기반으로 합니다.
에피소드 스크립트를 통해 AI의 도움을 받아 작성됨.