사전 학습된 Qwen3 0.6B 를 출발점으로, Python과 PyTorch에서 평가, 추론 시점 확장, 강화학습, 증류를 직접 구현하는 8개 영상, 11시간 이상 의 강좌임
모델 가중치를 고정한 채 답변을 개선하는 자기 일관성과 자기 개선 부터, 검증 가능한 보상을 이용해 가중치를 갱신하는 강화학습 까지 순차적으로 다룸
수학 답안 검증기를 직접 만들어 MATH-500 평가에 사용하고, 같은 검증기를 검증 가능한 보상 기반 강화학습(RLVR) 의 보상 신호로 재사용함
강화학습에서는 GRPO 학습 루프와 안정성 분석을 구현하며, 마지막에는 DeepSeek R1 의 답변을 활용한 증류를 대안적인 학습 경로로 다룸
Python과 PyTorch에 익숙한 학습자를 대상으로 하며 이전 LLM 강좌는 필수가 아님 . 초기 생성과 평가는 CPU로 진행할 수 있지만, 후반 실험과 학습에는 GPU 가 훨씬 실용적임
LLM, 추론 모델, 에이전트의 관계
추론 모델 은 기존 LLM에 검증 가능한 보상 기반 강화학습 등의 추가 사후 학습을 적용해 더 어려운 문제를 풀도록 개선한 모델이며, 선택적으로 추론 시점 확장 기법을 적용함
전통적으로 수학과 코드 문제를 중심으로 개발됐지만, 능력이 다른 문제 영역으로 일반화될 수도 있음
현재 세대 LLM 대부분은 추론 모델이거나 추론 모드를 제공하며, 추론에 들이는 노력을 조절하는 설정도 갖춤
에이전트 하네스(harness) 는 LLM이나 추론 모델을 둘러싼 소프트웨어 및 도구 프레임워크로, 정교한 문맥 관리와 도구 접근을 담당함
모델이 엔진이라면 하네스는 그 엔진으로 더 큰 코딩 작업, 여행 예약, 개인 비서 업무 등을 수행하게 하는 장치에 해당함
일반 LLM도 사용할 수 있지만, 더 높은 능력을 갖춘 추론 모델이 일반적인 선택임
관련 학습 자료로 다음 도서, 강좌, 문서를 활용할 수 있음
학습 범위와 준비 사항
사전 학습된 소형 Qwen3 에서 시작해 기반 모델 학습 대신 평가, 추론 시점 확장, 강화학습, 증류 구현에 집중함
Python과 PyTorch 에 익숙할 것을 권장하며, 이전 LLM 강좌 없이도 학습할 수 있도록 독립적으로 구성함
초기 텍스트 생성과 평가 예제는 CPU에서 실행 가능함
후반 실험, 특히 학습은 GPU를 사용할 때 훨씬 실용적이며, 저장소에 하드웨어 및 환경 권장 사항 이 있음
동반 도서는 영상보다 자세한 설명, 그림, 연습문제를 제공하며, 장을 읽고 해당 영상과 함께 코드를 구현한 뒤 연습문제를 푸는 순서 를 권장함
구현보다 개념을 먼저 살펴보고 싶다면 약 90분 분량의 LinkedIn Learning AI Reasoning Models 강좌 를 선택할 수 있음
추론 시점 확장, 강화학습, 증류의 주요 개념을 다룸
제공된 링크로 접근하면 LinkedIn Premium 없이 24시간 무료로 이용할 수 있을 것으로 보임
1강: 학습 동기와 코드 환경 설정
일반 LLM, 추론 모델, 에이전트의 관계와 직접 구현하며 학습하는 방식의 장점 , 강좌 범위를 다룸
uv 를 이용한 Python 및 PyTorch 의존성 설치, 하드웨어 선택, CUDA와 Apple Silicon 지원 확인을 진행함
VS Code로 원격 GPU를 사용하는 방법과 흔한 환경 설정 문제 해결도 포함함
1강 영상 , 환경 설정 안내
2강: 기반 모델 로딩, 텍스트 생성, KV 캐싱
Qwen3 0.6B 의 사전 학습 가중치를 내려받아 선택한 장치에 로딩하고, 이후 평가와 개선에 사용할 기반 구성 요소를 구현함
텍스트의 토큰 인코딩과 디코딩, 텐서 형태, 로짓, 다음 토큰 예측을 살펴봄
탐욕적 디코딩과 스트리밍 텍스트 생성 을 구현하고, 시퀀스 종료 토큰 처리와 생성 속도 측정을 진행함
KV 캐시 로 어텐션의 키와 값을 재사용하고, torch.compile
과 결합해 생성 효율을 높이며 하드웨어별 성능을 비교함
2강 영상 , 2장 코드
3강: 평가와 강화학습을 위한 검증기
수학 답안 검증기 를 최종 답 추출, 답 정규화, 수학적 동치 확인 순서로 구현함
답안 채점기와 MATH-500 평가 루프 를 구축해 기반 모델과 추론 모델을 비교함
검증기가 LLM 평가에서 맡는 역할을 살펴보며, 다른 평가 방법은 도서 부록에서 다룸
같은 검증 결과를 후반부 RLVR의 보상 신호 로 재사용함
3강 영상 , 3장 코드
4강: 샘플링과 자기 일관성을 이용한 추론 시점 확장
학습 중 추가 연산과 추론 중 추가 연산이 성능에 주는 효과를 비교하고, 사고 사슬 프롬프트 로 추론 시점 확장의 개념을 살펴봄
모델 가중치를 고정한 상태에서 같은 프롬프트로 다양한 답변을 얻도록 온도 조절, 다항 샘플링, top-p 필터링 을 구현함
여러 응답의 최종 답에 다수결을 적용하는 자기 일관성(self-consistency) 을 구현함
MATH-500 정확도 를 평가하면서 후보 답변을 더 많이 생성하는 데 드는 추가 추론 연산과 정확도 사이의 절충을 확인함
4강 영상 , 4장 코드
5강: 점수화와 자기 개선을 이용한 추론 시점 확장
같은 프롬프트에서 생성된 답변을 비교하고 자기 일관성의 동률을 해소하기 위한 점수 함수 를 구현함
간단한 휴리스틱 점수 함수, 토큰 확률, 시퀀스 우도를 다룸
로그 확률 로 수치적 안정성을 높이며, 이 계산은 이후 강화학습에도 활용함
모델이 자신의 답변을 비평하고 수정을 시도하는 자기 개선(self-refinement) 루프 를 구현함
MATH-500에서 평가해 추가 비평과 수정 단계 가 해당 모델에 얼마나 유용한지 확인함
5강 영상 , 5장 코드
6강: RLVR을 위한 GRPO 구현
추론 과정을 생성하고 답변 길이와 문제 해결 능력의 관계 를 살펴보며, 인간 피드백 기반 강화학습인 RLHF와 검증 가능한 보상 기반 강화학습인 RLVR을 비교함
단순화한 GRPO(Group Relative Policy Optimization) 를 구현함
응답을 그룹 단위로 생성하고 검증기로 채점함
검증 점수를 보상과 상대적 이점으로 변환하고, 시퀀스 로그 확률과 단순화한 GRPO 손실을 계산해 모델 가중치를 갱신함
로깅과 체크포인트 저장 을 포함한 학습 루프를 구성하고, 체크포인트 평가로 학습 안정성과 메모리 요구량을 확인함
6강 영상 , 6장 코드
7강: 학습 추적, 정책 비율 클리핑, KL 항
더 긴 학습 실험을 수행하고 이점과 엔트로피 통계 를 추적해 학습 동작과 로그를 분석함
정책 비율 클리핑과 KL 손실 항 을 추가하고, 로그 및 평가 결과로 효과와 유용성을 확인함
보상 해킹을 다루고, 단순화한 KL 계산식의 한계도 살펴봄
답변 형식에 대한 형식 보상 을 구현하고, 정답 여부에 따라 이를 조건부로 적용함
MATH-500 에서 체크포인트를 비교하고 추가 GRPO 연구를 탐색함
7강 영상 , 7장 코드
8강: 추론 모델 증류
더 크고 강력한 교사 모델의 답변을 학습하는 증류 를 강화학습의 대안으로 구현함
소프트 증류와 하드 증류, 온폴리시와 오프폴리시 증류의 접근법과 조합을 비교함
DeepSeek R1 을 사용해 MATH 데이터셋의 교사 답변을 생성하고 수집함
토큰화와 학습/검증/테스트 분할을 포함해 증류용 데이터를 준비함
답변 토큰의 로그 확률과 교차 엔트로피 손실 을 계산하고, 지도 학습 루프에서 학습 및 검증 손실을 추적함
MATH-500 으로 체크포인트를 평가하고 증류 결과를 비교하며 강좌를 마무리함
8강 영상 , 8장 코드
직접 실험하며 학습하기
영상을 중간에 멈추고 작은 실험 을 직접 해보는 방식을 권장함
샘플링 설정을 바꾸거나, 실패한 답변을 살펴보거나, 연습문제처럼 구현 아이디어의 변형을 시도할 수 있음
댓글과 토론