ScaffoldCoT 데이터셋 업데이트: 소형 모델을 위한 새로운 에이전트 중심 데이터셋과 이를 기반으로 훈련되는 신규 모델!

제가 처음 ScaffoldCoT를 공개했을 때, 이 프로젝트가 몇몇 사람들에게만 도달할 것이라고는 생각하지 못했습니다. 출시된 이후 매월 수천 건의 꾸준한 다운로드를 보게 되어 기뻤습니다. 이곳이 제가 처음에 프로젝트에 대해 게시했던 곳이라, 여러분들이 최근 업데이트에 관심을 가질 것 같아 공유합니다! 요약하자면 - Scaffold CoT가 이제 Scaffold Chat으로 변경되었습니다 (tool calling 기능 제거됨. 이 기능이 상당한 tool calling 신뢰성 문제를 일으켰기 때문). Scaffold Agent가 출시되었으며 (~1B 토큰 분량의 실제 실행 코딩 에이전트 세션과 동일한 사고 구조를 가짐), 그리고 이 모든 데이터셋을 기반으로 훈련된 대폭 수정된 5-10B 모델이 곧 공개될 예정입니다. 안녕하세요! 원본 글을 보셨던 분들을 위한 Scaffold CoT에 대한 간단한 업데이트입니다. 변경 사항: 이름이 Scaffold Chat으로 변경되었습니다. 저장소는 동일합니다 (오래된 링크는 리디렉션됨). load_dataset("Specific-Labs/Scaffold-CoT")은 여전히 작동하며, 이전 버전들은 히스토리에 남아 있습니다. 이전에 알려드리지 못한 점 죄송하지만, tool calling 벤치마크에서 주요 훈련 실행이 실패하여 처음부터 다시 시작해야 했습니다. 모든 tool calling 기능을 제거했습니다. 276,389개의 예제가 사라졌습니다 (tool_use + tool_use_complex, 데이터셋 내의 모든 tool_call / tool_result 이벤트). 저는 tool calling 예제에서 여러 합성 생성(synth gen) 하네스 문제를 발견했고, 이것이 데이터셋에 실패 모드를 전파시켰습니다. 남아 있는 모든 것은 이전 버전과 바이트 단위로 동일합니다. 이제 3,450,159개의 예제가 있으며, 16개 도메인, 75개 샤드(shards)를 갖추고 있습니다. 원래 게시물에 있던 ~13GB의 Junk domain label tail이 정리되었습니다 (97개의 레이블, 542개의 예제). 모든 예제는 정확한 도메인/하위 도메인을 가지며, 카운트가 전체 데이터셋을 구성합니다. 저장소에 SCAFFOLD_SYSTEM_PROMPT.md를 추가했습니다. 이 예제들은 시스템 프롬프트 없이 생성되었기 때문에, 대신 시스템 프롬프트를 기반으로 Scaffold를 조건화하고 싶은 분들을 위해 생성 코드에서 추출한 형식 프로토콜입니다. 보정(Calibration) 블록은 건드리지 않았습니다: antihal + antihal_kb_refined + selfcheck는 여전히 ~675k개의 예제를 유지하고 있습니다. 이 부분은 일반 채팅 및 지식 벤치마크에 높은 영향을 미치는 카테고리였습니다.

새로운 데이터셋: Scaffold Agent
이것은 실행된 툴 체인(tool chain)을 통해 발전한 것입니다. 이 데이터셋은 동일한 스캐폴드 시스템을 사용하여 오픈 근접 최전선 모델(open near-frontier models)의 실제 코딩 프로젝트에서 나온 실제 Pi 코드 흔적(traces)으로 구성되어 있습니다: 6,792개의 코딩 세션에서 나온 19,652개 레코드, 총 1,005M 토큰(마스크 적용 후 899M 학습 가능).
교사 모델은 실제 에이전트 하네스(harness)인 Pi를 사용하여 고정된 커밋(pinned commits)에서 실제 레포지토리(repos)를 편집하고 처음부터 빌드하며, 반대편의 시뮬레이션 사용자는 자체적인 하네스와 지침을 가진 다른 모델에 의해 구동되어 다양성과 품질을 보장합니다. 모든 툴 호출은 실제로 실행되었고, 모든 결과는 실제 출력이며, 모든 액션은 reasoning_content 내의 동일한 스캐폴드 블록(Inventory / Interaction / Execution)에 의해 선행되었습니다. 조작된 툴 출력은 구조적으로 불가능하며, 그러한 인스턴스는 모두 제거되었습니다. 세션은 실제로 검증되었을 경우에만 유지됩니다(숨겨진 테스트 + 메인 샤드에서의 코드 품질 등급). 이것은 전체 생성량 중 극도로 높은 품질을 가진 약 20%의 하위 집합입니다. 저는 이것들이 최고 수준의 코딩 흔적임을 확실히 하고 싶었습니다.
최종 데이터셋에 승인받기 위해서는 2개의 LLM 심사 통과와 녹색 최종 CI(Continuous Integration)가 필요했습니다. 각 레코드는 하나의 압축 세그먼트(compaction segment, ≤64k 토큰)이며, 시스템 프롬프트(system prompt) + 툴 정의(tool definitions) + 히스토리(history)가 포함된 자체 완결형입니다. 세그먼트를 연결하지 마십시오.
레포지토리의 training_sft_config.yaml 파일에 전체 설정이 문서화되어 있습니다. Scaffold Chat은 형식과 일반적인 추론을 가르치고, Scaffold Agent는 동일한 형식 내에서 툴을 사용하여 행동하는 것을 가르칩니다. 제 추천은 다른 대규모 데이터셋과 혼합하되 배치당 최소한 하나의 스캐폴드 예시가 포함되도록 하는 것입니다. 이는 저를... 곧 공개될 예정입니다.
현재 이 데이터를 사용하여 5-10B 범위의 모델을 대폭 수정하여 훈련 중입니다(기반 모델, 전체 SFT, 그리고 아직 규모 있는 출시에서 적용된 것을 본 적 없는 새로운 병합 접근 방식). 결과는 완료되고 실제로 평가된 후에 게시될 것이며, 그 전에 공개되지 않을 것입니다.

이 아이디어는 코딩에 특화되어 최적화되었으며, 우리의 CoT 프레임워크와 작은 크기 덕분에 매우 빠르게 작동할 수 있는 다양한 GPU 및 노트북에서 실행 가능한 소형 밀집 모델(small dense model)을 구축하는 것입니다. 이것은 과정에서 여러 실수가 있었던 거대한 프로젝트였으며, 이제 결과가 마침내 좋아지고 있습니다. 스캐폴드 데이터셋(scaffold datasets)이 훈련의 핵심이었기 때문에, 곧 커뮤니티에 공개하게 되어 매우 기대됩니다. 사용 가능하기 전에 발표하는 것이 때로는 조금 짜증날 수 있다는 것을 알지만(lmao), 커뮤니티에 대해 이야기하지 않을 수가 없었습니다. 그동안 이와 관련된 질문이나 다른 어떤 것에 대해서든 기꺼이 답변해 드리겠습니다.

링크: Scaffold Chat: https://huggingface.co/datasets/Specific-Labs/Scaffold-Chat Scaffold Agent: https://huggingface.co/datasets/Specific-Labs/Scaffold-Agent 둘 다 CC-BY-4.0입니다. 진심으로 이것들이 유용하기를 바랍니다! 제출자: /u/Saraozte01 [링크] [댓글]