Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
스웨덴 의료 면허 시험 데이터셋(MedQA-SWE)을 활용해 4B 규모의 오픈 웨이트 모델 성능을 실험했습니다. Gemma4-E4B와 Qwen3.5-4B가 별도의 사후 학습 없이도 높은 정확도를 기록하며, 추론 기능을 활성화할 경우 o3 수준에 근접함을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 스웨덴 의료 면허 시험의 객관식 문제들을 대상으로 더 작은 오픈 웨이트 (open-weight) LLM들을 활용한 몇 가지 실험을 진행해 왔습니다. MedQA-SWE라고 불리는 데이터셋에서, GPT-4는 2024년에 84%의 정확도를 기록했고, o3는 2025년에 더 작고 중복되는 데이터셋에서 88%를 기록했습니다. 이전 연도의 데이터를 활용한 사후 학습 (SFT)을 통해, 저는 MedGemma-1.5-4B가 최종 학년 시험에서 합격 점수인 60%를 달성하도록 만들었습니다. 구현 코드는 여기에서 확인하실 수 있습니다: https://github.com/tarolangner/medqaswe_medgemma_sft. 하지만 출시된 지 불과 3개월밖에 되지 않았음에도 불구하고, Gemma4-E4B와 Qwen3.5-4B는 사후 학습 (post-training)이 전혀 없음에도 불구하고 77%를 기록하며 이미 압도적으로 우수합니다. 추론 (reasoning) 기능을 활성화하면, 후자는 87%의 정확도까지 도달할 수 있습니다. 추론 흔적 (reasoning traces)에 길이 제한을 두지 않는다면 조금 더 밀어붙일 수도 있지만, 일부는 답변을 내놓지 못한 채 포맷팅에 관한 반복적인 루프에 빠져 컨텍스트 길이 (context length) 전체를 채워버리기도 합니다. 여기서 저는 S-GRPO 논문에서 제안된 '조기 종료 (early exit)' 사고 개입 방식을 사용하는 것이 도움이 된다는 것을 발견했는데, 이는 단순히 특정 문구를 주입하고 미리 정해진 시퀀스 길이에서 사고 흔적을 종료하는 방식입니다. 또한 더 짧은 추론 흔적을 얻기 위해 그들이 제안한 강화 학습 (reinforcement learning) 방법도 시도해 보았으나, 미미한 이득만 있었습니다 (아마도 훈련 설정이 다소 규모가 작았던 것 같습니다). 흥미롭게도, Qwen3.5-4B는 스웨덴어 프롬프트, 질문, 그리고 선택지에도 불구하고 모든 추론을 영어로 수행합니다. 하지만 LLM 학습 데이터의 단 1%에 불과하다고 흔히 추정되는 언어임에도 불구하고, 언어가 장애물이 되지 않는 것으로 보입니다. 관심 있는 분들을 위해 상세한 내용과 실험에 대한 더 자세한 글을 여기에 작성해 두었습니다: https://tensorlabbet.com/2026/07/19/medqaswe_post_training/ /u/AccomplishedCat4770이 r/MachineLearning에 제출함 [link] [comments]