실제 뉴스 4일간의 지속적 학습: 8B 모델이 Day 1을 90.7%로 유지하는 반면 LoRA는 26.7%, GSM8K는 변화 없음 (밀봉

원문 발행 2026. 11. 07. 23:03원문 언어 영어AI 한국어 번역Reddit AI Research 원문 보기

요약

연구진은 실제 뉴스 데이터를 활용한 지속적 학습(Continual Learning) 실험 결과를 발표했습니다. Apertus-8B 모델을 4일간의 뉴스로 매일 밤 학습시킨 결과, Day 1 성능이 90.7%로 높은 수준을 유지하는 것을 확인했습니다. 이는 일반적인 LoRA 방식 대비 월등한 안정성을 보여주었으며, GSM8K에서도 우수한 결과를 기록했습니다.

핵심 포인트

Apertus-8B는 4일간의 뉴스 학습 후 Day 1 성능을 90.7%로 유지함.
LoRA 방식은 같은 기간 학습 후 Day 1에서 26.7%로 급격히 하락하는 경향을 보임.
지속적 학습(CL)은 모델의 정보 기억력과 안정성을 높이는 데 효과적인 방법임을 시사함.
추가적으로 '밀봉 재실행(sealed rerun)' 테스트를 통해 성능 검증이 예정되어 있음.

저는 지속적 학습(continual learning)에 대해 작업해 왔습니다. 매일 밤 모델이 그날의 뉴스를 가중치(weights)로 학습하고, 다음 날 아침에는 프롬프트에 아무것도 없이 그것에 대해 질문을 받게 됩니다. 어느 날은 쉽다는 것이 밝혀졌습니다. 연습 문제에 훈련된 일반적인 LoRA는 다음 날 아침에 93%에서 96%의 성능을 보입니다. 어려운 부분은 그 다음 밤, 그리고 그다음 밤입니다.

그래서 저는 Apertus-8B (Swiss AI)를 실제 뉴스 4일(11월 2, 4, 5, 6일)에 걸쳐 돌려보았습니다. 매일 밤이 지나면 이전 모든 날짜에 대해 다시 질문을 받았습니다. 통과율 막대는 어떤 질문도 존재하기 전에 기록되었습니다.

4일 밤 후 Day 1: 90.7%, LoRA가 매일 같은 연습 문제로 훈련된 경우 대비 26.7%
4일 밤 후 GSM8K: 69.2% (출시된 모델 기준: 69.6%). LoRA는 4.4%까지 떨어졌습니다.

Day 2와 Day 3은 나중에 뉴스에서 같은 이야기가 다시 등장하면서 약 70%로 하락했습니다. 이것이 제가 현재 작업하고 있는 내용입니다. 신선한 날짜에 대한 밀봉 재실행(sealed rerun) 테스트가 수요일로 예정되어 있습니다. 다른 모델이 다음 아침에 작성한 295개의 질문을 엄격한 채점관(Strict scorer)으로 사용합니다. 이 방법은 아직 공개되지 않았지만, 모든 질문과 답변은 다음과 같습니다: https://huggingface.co/datasets/fintanlabs/overnight-four-nights-2026-11

벤치마크: https://huggingface.co/spaces/fintanlabs/overnight 설정에 대한 질문에는 기꺼이 답하겠습니다. 제출자: /u/Technical_Bench_188 [link] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기