AstaBrief 8B: AllenAI가 인용된 과학 보고서를 생성하도록 작은 오픈 모델을 훈련시킨 방법

The Allen Institute for AI (Ai2)는 2026년 10월 2일, AstaBrief 8B를 공개했습니다. 이는 연구 질문과 검색된 문헌 발췌본 세트를 받아 단일 순방향(forward pass)으로 완전히 인용된 과학 보고서를 생성하는 오픈 가중치 모델입니다. 이 모델은 현재 Ai2의 과학 작업 에이전트 플랫폼인 Asta 내부에서 'Fast mode'로 사용 가능하며, 가중치, 훈련 데이터 및 예시 워크플로우는 모두 Apache 2.0 라이선스 하에 Hugging Face에서 이용할 수 있습니다.

이번 공개가 흥미로운 이유는 모델의 기능뿐만 아니라 Ai2가 이 모델을 구축하는 과정에서 얻은 교훈 때문입니다. 즉, 미세 조정된 보고서 생성 모델에서 인용 품질을 개선하기 위한 가장 중요한 요소는 정교한 훈련 알고리즘이 아니라 단순한 데이터 필터링 휴리스틱(data-filtering heuristic)이었다는 점입니다.

AstaBrief가 실제로 하는 일

Asta의 보고서 생성 기능은 이전에 전적으로 Claude 기반의 'Thinking mode' 파이프라인으로 작동했습니다. 이 파이프라인은 검색된 발췌본을 요약하고, 주제별로 클러스터링하며, 섹션별로 보고서를 작성하는 다단계 프로세스로, 보고서당 평균 178.5초가 소요되었습니다.

AstaBrief는 속도를 원하는 사용자를 위해 이 파이프라인을 대체합니다. 동일한 연구 질문과 검색된 발췌본을 주었을 때, 한 번의 순방향으로 전체 보고서를 작성하며, 평균 51.1초가 소요되어 약 3.5배 더 빠릅니다. 이 모델은 Qwen3-8B를 기반으로 구축되었으며 과학 보고서 생성 작업에 특화하여 미세 조정되었습니다.

가중치가 오픈이고 모델이 단일 GPU에서 실행할 수 있을 만큼 작기 때문에, 기관들은 연구 질문에 민감하거나 출판되지 않은 작업이 포함되어 제3자 API로 전송될 수 없는 경우 자체 방화벽 뒤에 배포하는 데 유용합니다.

훈련 레시피: RL이 아닌 SFT 후 DPO

Ai2는 자체 이전 DR Tulu 작업에서 얻은 증거를 인용하며, AstaBrief 훈련에 강화학습(RL)을 고려했습니다. 이는 RL이 오픈 가중치 모델의 장문 보고서 생성 능력을 향상시킬 수 있다는 근거였습니다. 하지만 팀은 최종적으로 더 간단한 2단계 방식인 지도 미세 조정(SFT) 후 직접 선호도 최적화(DPO)를 선택했습니다.

그 이유는 실용적이었습니다. RL 훈련은 불안정하고 비용이 많이 들지만, SFT와 DPO는 더 저렴하고 디버깅하기 쉬우며 반복 속도가 빠릅니다. 프로덕션 기능으로 출시되어야 하는 모델에게 이러한 특성들은 중요합니다.

SFT 단계: Ai2는 Asta의 기반이 되는 ScholarQA 프레임워크를 통해 제출된 실제 사용자 질의로 시작했습니다. 품질, 관련성 및 개인 정보 보호 측면에서 필터링을 거치면서 봇 트래픽, 매우 짧은 질의, 비영어 요청, 개인 정보를 포함하는 프롬프트가 제거되었고, 연구 중심 질의 90,000개를 확보했습니다. 전체 보고서 목표물(Full-report targets)은 Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, GPT-4.1 등 독점 시스템을 혼합하여 생성되었습니다. 품질 필터링을 거치면서 이는 47,000개의 사용 가능한 훈련 예시로 줄었습니다.

DPO 단계: 선호도 쌍(Preference pairs)은 SFT 동안 사용되지 않은 별도의 질의 하위 집합에서 가져왔습니다. 각 쌍은 ScholarQA 파이프라인에서 나온 보고서 하나(일반적으로 Claude 3.5 또는 3.7 Sonnet)와 o3, o4-mini, DeepSeek-V3, 또는 DeepSeek-R1에서 나온 보고서로 구성되었습니다. 두 개의 심사 모델—GPT-4.1과 DeepSeek-R1—이 각 쌍에 대해 독립적으로 승자를 선정했습니다. 두 심사 모델 모두가 동의한 쌍만 유지되었고, 약 6,000개의 최종 예시를 만들어냈습니다. Ai2는 심사 모델들이 인간의 선호도와 95%의 확률로 일치했다고 보고합니다.

DPO 훈련은 AstaBrief-8B-SFT 체크포인트에서 시작하여 Ai2의 오픈 인스트럭트(open-instruct) 프레임워크를 사용해 8×H100 GPU에서 실행되었습니다.

핵심 발견: 인용 밀도 필터링

Ai2는 SFT에 사용하기 전에 합성 훈련 보고서에 네 가지 통계 기반 필터를 테스트했습니다:

• 출력 대 입력 토큰 비율 (Output-to-input token ratio) — 보고서가 입력 대비 적절한 길이였는지 여부
• 인용 관련성 (Citation relevance) — 인용된 논문들이 실제로 주장(claims)을 뒷받침하는 것과 관련이 있었는지 여부
• 인용 밀도 (Citation density) — 보고서의 진술 중 적어도 하나의 지지적 인용을 가진 비율
• 인용 다양성 (Citation diversity) — 보고서가 동일한 소수 출처를 반복하기보다는 다양한 출처를 인용했는지 여부

이러한 품질 향상은 인용 밀도가 낮은 보고서를 필터링하는 것에서 가장 크게 나타났다. 내용적으로 잘 쓰였더라도 지지되지 않은 텍스트의 긴 구간을 가진 보고서는 모델이 근거 기반(grounded) 출력을 생성하는 능력을 저하시켰다. 이러한 보고서를 제거하는 것이 다른 어떤 단일 개입보다도 결과 모델의 답변 정밀도와 인용 품질 모두를 개선했다.

Ai2가 여기서 도출하는 더 광범위한 교훈은, 미세 조정된 모델에서의 과학적 전문화가 주로 사전 학습에 더 많은 과학 텍스트를 추가하는 기능이 아니라는 것이다. 사후 학습 데이터의 구성과 품질 — 특히, 훈련 목표가 실제로 원하는 행동을 모델링하는지 여부 — 가 더 중요하다는 점이다.

평가 결과

Ai2의 주요 평가 대상은 200개의 사용자 작성 컴퓨터 과학 연구 질문으로 구성된 SQABench-CS2였다. 이 모델은 네 가지 지표로 점수가 매겨진다: 루브릭 점수(필요 내용 커버리지), 답변 정밀도(단락 관련성), 인용 정밀도(인용 지지), 그리고 인용 재현율(주장 지지).

ScholarQA-CS2 테스트 세트에서 AstaBrief 8B는 추적된 모든 지표에서 평균 87점을 기록했으며, 이는 SFT 전용 체크포인트의 83.7점 및 기본 Qwen3-8B의 77.3점과 비교된다. Claude 기반 Asta 파이프라인과의 LLM 판정 쌍별 비교에서 AstaBrief 8B는 개발 분할(development split)에서 55%, 테스트 분할(test split)에서 72%의 승률을 기록했다.

별도의 인간 연구에서 세 명의 과학 연구원을 대상으로 한 테스트 결과, 이들이 선호한 것은 AstaBrief였으며, 이는 인용 밀도 필터링(citation density filtering)을 통해 개선하도록 설계된 지표인 '인용 정확도(citation accuracy)' 측면에서 두 시스템이 다른 시스템보다 우수하다는 점이었다.

Ai2에 따르면 대부분의 훈련 및 평가는 2025년에 완료되었으며, 현재의 최신 frontier 모델들(예: Claude 또는 GPT)을 대상으로 전체 평가를 다시 수행하지 않았으므로, 최신 버전에 대한 직접적인 비교는 주의해서 받아들여야 한다.

초기 사용 패턴

Fast 모드를 사용해 본 374명의 Asta 사용자 중 29.1%가 이 기능을 이틀 이상 사용했다. 사용자들은 평균적으로 3.67개의 보고서 스레드(report threads)를 생성했다. 23%는 이후 스레드를 위해 Thinking 모드로 다시 전환하지 않았고, 또 다른 18%는 두 모드를 번갈아 사용했다. Fast 모드의 긍정적 피드백률은 84.2%였으며, 이는 Thinking 모드의 85.2%와 비교했을 때 매우 작은 격차로, Ai2가 대부분의 사용 사례에서 품질이 대략적으로 비슷하다고 판단하는 수준이다.

향후 계획

Ai2는 AstaBrief를 ScholarQA와 DR Tulu부터 미래 버전의 OLMo에 이르기까지 진행된 더 긴 작업 흐름 중 하나의 실험으로 설명한다. 언급된 다음 단계에는 보다 세분화된 선호 학습(preference learning), 강화된 RAG-plus-RL 접근 방식, 다중 턴 및 다중 도구 기능(multi-turn and multi-tool capabilities), 추가 과학 데이터 소스, 그리고 질의 분해(query decomposition)가 포함된다.

이 공개는 또한 Ai2의 더 광범위한 NSF OMAI 이니셔티브에도 부합한다. 이는 과학적 발견을 위해 완전히 개방된 AI 인프라를 구축하려는 미국 국가적인 노력이다. AstaBrief는 작고, 개방적이며, 전문화된 모델이 독점 파이프라인(proprietary pipeline)과 비교하여 대부분의 품질 격차를 해소하면서도 더 빠르고 낮은 비용으로 작동할 수 있음을 보여주는 실용적인 시연 사례로 자리매김하고 있다.

과학 또는 기술 분야를 위한 검색 증강 생성(RAG) 파이프라인을 구축하는 실무자들에게 가장 중요한 교훈은 인용 밀도 분석입니다. 즉, 훈련 데이터에 뒷받침되지 않은 주장이 긴 구간으로 포함되어 있다면, 더 복잡한 훈련 알고리즘으로 전환하는 것보다 해당 예시들을 필터링하여 파인튜닝(fine-tuning)하는 것이 접지(grounding) 성능을 개선할 가능성이 높습니다.

모델 가중치, SFT 및 DPO 훈련 데이터셋, 그리고 로컬 리포트 워크플로우 예시는 Ai2의 Hugging Face 조직에서 확인할 수 있습니다.