50%

OfficeQA Pro 벤치마크에서의 정확도 (state of the art)

46%

GPT-5.4 대비 OfficeQA Pro 벤치마크에서의 오류 감소율

Databricks는 자사의 복잡한 기업 문서 작업용 벤치마크인 OfficeQA Pro에서 새로운 state of the art를 달성한 후, 고객 에이전트 워크플로(agent workflows)에서 GPT-5.5를 사용할 수 있도록 지원하고 있습니다.

OfficeQA Pro는 스캔된 PDF, 레거시 파일(legacy files), 그리고 긴 문맥 문서(long-context documents)를 포함하는 워크플로 전반에서 모델이 파싱(parsing), 검색(retrieval), 근거 기반 추론(grounded reasoning)을 어떻게 처리하는지 평가하며, 이러한 작업들은 실제 운영 중인 에이전트 시스템을 빈번하게 중단시키곤 합니다.

에이전트 하네스(agent-harness) 설정에서 GPT-5.5는 GPT-5.4와 비교하여 오류를 46% 줄였으며, OfficeQA Pro에서 정확도 50%를 돌파한 최초의 모델이 되었습니다.

“5.5 버전이 적용된 Codex는 이제 시중에 나와 있는 모든 에이전트와 모델 중 state-of-the-art입니다.”

OfficeQA Pro에는 방대한 양의 스캔된 문서 또는 레거시 기업 문서가 포함되어 있으며, 이러한 문서들은 파싱 과정에서의 작은 추출 오류가 워크플로의 나머지 단계로 연쇄적으로 영향을 미칠 수 있습니다. Singhvi는 “특정 숫자나 수치를 추출하지 못하게 되면, 에이전트가 다루는 작업의 전체 궤적이 바뀌게 됩니다”라고 설명합니다.

Databricks는 이러한 파싱 집약적인 워크플로에서 GPT-5.5를 통해 가장 큰 이득을 보았습니다. Singhvi는 “5.4와 같은 이전 모델들은 모든 숫자를 정확하게 파싱하지 못했지만, 5.5는 오래된 문서와 스캔된 PDF를 파싱하는 데 있어 단계적 도약(step-function lift)을 이뤄낸 것으로 보입니다”라고 말합니다.

팀은 또한 다단계 작업(multi-step tasks)에 걸친 오케스트레이션(orchestration) 측면에서도 개선을 확인했습니다. Singhvi는 “5.4에서 확인했던 점 중 하나는 때때로 불필요한 검색 우회 경로를 택하여 매우 비효율적인 궤적을 만든다는 것이었습니다”라고 말합니다.

이전 모델들과 비교했을 때, GPT-5.5는 추가적인 감독 없이도 관련 문맥을 검색하고 복잡한 워크플로를 완료하는 데 있어 더욱 신뢰할 수 있는 모습을 보여주었습니다.

Databricks는 이제 AI Unity Gateway를 통해 GPT-5.5를 사용할 수 있도록 제공하며, 고객은 AgentBricks 및 Agent Supervisor API로 구축된 워크플로 내에서 이 모델을 사용합니다. 이러한 시스템에서 GPT-5.5는 전문화된 에이전트(agents) 전반에 걸쳐 파싱(parsing), 검색(retrieval) 및 실행(execution)을 오케스트레이션(orchestrate)합니다.

"우리는 많은 고객이 맞춤형 에이전트 워크플로를 위해 AgentBricks와 Agent Supervisor API를 사용하는 것을 보게 될 것입니다."라고 Singhvi는 말합니다. "GPT-5.5가 이러한 워크플로를 감독(supervise)한다는 것은 정말 흥미로운 일입니다."

"GPT-5.5는 지식 향상(knowledge lift) 측면에서 매우 훌륭했습니다. 이는 우리를 대신해 지식 작업(knowledge work)을 수행하는 데 있어 단계적 함수 변화(step size function change)와 같습니다."