대형 모델들은 더 이상 추론 (Reasoning)에 집착하지 않습니다. 이제는 모두 계획 능력 (Planning abilities)에 집착하기 시작했습니다!
Tencent Hunyuan은 Renmin University의 Gaoling Institute of Artificial Intelligence와 협력하여 LLM의 실제 계획 능력을 테스트하고 훈련하기 위해 특별히 설계된 프레임워크인 PlanningBench를 직접 오픈 소스로 공개했습니다.
이 프레임워크에는 스케줄링 (Scheduling), 생산 (Production), 여행 (Travel), 자원 할당 (Resource allocation), 응급 대응 (Emergency response) 등 6가지 주요 카테고리를 아우르는 30개 이상의 실제 세계 계획 작업이 포함되어 있으며, 각 작업은 명확한 성공 기준과 완전 자동화된 검증 메커니즘을 갖추고 있습니다.
이를 사용하여 현재의 최상위 모델들이 계획 능력 면에서 얼마나 형편없는지 측정하거나, 직접 적용하여 미세 조정 (Fine-tuning)을 지속함으로써 모델을 '말할 수 있는 수준'에서 진정으로 '행동할 수 있는 수준'으로 진화시킬 수 있습니다.
이전에는 업계 전체가 마치 계획 능력이 자연스럽게 생겨날 것처럼 파라미터 (Parameters)를 쌓고, 컨텍스트 길이 (Context lengths)를 늘리고, 도구 호출 (Tool calls)을 쌓아 올리는 데만 집착했습니다.
이제 PlanningBench는 30개 이상의 검증 가능한 작업을 통해 진실을 드러냅니다. 계획 (Planning)은 에이전트 (Agents)를 장난감에서 생산적인 도구로 바꾸는 진정한 분수령입니다.
Tencent는 이번에 논문, 코드, 데이터셋을 모두 GitHub와 Hugging Face에 공개하여, 가장 어렵고 핵심적인 이 능력을 블랙박스 (Black box) 밖으로 끌어내어 공개적인 트랙 위로 올려놓았습니다.
논문 (Paper):
https://arxiv.org/abs/2605.20873
GitHub:
https://github.com/Tencent-Hunyuan/PlanningBench
…
https://huggingface.co/datasets/tencent/PlanningBench
…
