도요타가 Deep Agents와 LangSmith를 활용해 기업용 AI를 재무제표에 반영하는 방법

Toyota Motor North America는 세계 최고의 자동차 제조사 중 하나입니다. 엔지니어, 아키텍트, 제품 관리자, 내부 전도사들로 구성된 이들의 기업용 AI 팀은 마치 내부 스타트업처럼 기능합니다. 약 35명 규모의 이 팀은 전체 기업의 AI 방향성을 설정하고, 모든 애플리케이션이 따라야 할 표준을 설계하며, Deep Agents, LangGraph, 그리고 LangSmith를 이용해 가장 우선순위가 높은 AI 제품들을 구축합니다.

전사적인 임무를 가진 소규모 팀

도요타의 기업용 AI 팀은 제조, 공급망, 금융 서비스, 딜러십, 차량 탑재 개발, R&D 등 회사의 모든 측면에서 사용 사례를 다룹니다. 이 삼십여 명 규모의 팀은 새로운 애플리케이션마다 도구를 처음부터 구축할 여유가 없습니다.

"저희는 모든 것을 직접 구축하는 고통을 겪었습니다. 자체 솔루션을 구현하려고 많은 어려움을 경험했고, 이는 엄청난 노동력과 엔지니어링 시간을 소모합니다."라고 Toyota Motor North America의 AI Engineering 디렉터인 Kordel France가 말했습니다.

프로젝트마다 연간 6~7자리 수(6-to-7-figure) ROI 임계치를 달성해야 하는 임무를 안고, 이 팀은 제조 생산량과 효율성을 실질적으로 변화시킬 수 있는 에이전트를 배포할 수 있는 솔루션이 필요했습니다.

ToyotaGPT: 6개월과 6명의 엔지니어에서 4일과 1명의 엔지니어로

도요타의 기업용 AI 포트폴리오 중심에는 팀의 내부 플래그십 플랫폼인 ToyotaGPT가 있습니다. 이 플랫폼은 맞춤형, 도메인별 에이전트들의 성장하는 라이브러리로 구성되어 있습니다. 부서에 관계없이 직원들은 제조 문서부터 R&D 보고서, 공급망 기록까지 도요타의 내부 데이터에 기반한 답변을 얻기 위해 ToyotaGPT를 사용합니다. 접근성은 근본적인 데이터에 의해 권한 제한(permission-gated)됩니다. 예를 들어, 팀원이 특정 데이터셋에 대한 SharePoint 접근 권한이 없다면, 에이전트는 해당 데이터를 노출하지 않습니다.

현재 이 플랫폼에는 50개 이상의 에이전트가 실제 운영되고 있습니다. 팀이 Deep Agents와 LangGraph를 기반으로 현재의 개발 인프라를 구축하기 전에는 새로운 에이전트를 출시하는 데 6개월과 엔지니어 6명이 필요했습니다. 오늘날에는 4일과 엔지니어 1명만 있으면 됩니다.

에이전틱 AI 및 제품 리서치 디렉터인 Ravi Chandu Ummadisetti는 이 기반 구조를 다음과 같이 설명했습니다. “LangChain의 Deep Agents는 아름다운 개념입니다. 단 하나의 명령으로 깊은 에이전트를 생성하면, 강력한 하네스(harness)와 새로운 에이전트 각각을 위한 전체 생태계를 얻게 됩니다.”

기업 AI 팀은 도요타의 도메인 지식을 개별 에이전트에 인코딩하는 대신, 제조, 공급망, R&D, 브랜딩 등을 포괄하는 재사용 가능한 기술 라이브러리를 구축했습니다. 이 기술들은 런타임에 Deep Agents에 주입되어 제도적 지식(institutional knowledge)을 사용 사례 전반에 걸쳐 휴대 가능한 형태로 모델에 직접 공급합니다.

GearPal: 생산 라인의 모든 기계를 작동 상태로 유지하기

제조 라인은 도요타의 가장 큰 제품입니다. 도요타가 판매하는 모든 차량이 여기서 생산되며, 이 시스템은 도요타를 세계 최고의 제조업체 중 하나로 만든 기반입니다. 이는 새로운 기술에 지속적으로 적응하는 자가 진화하는 운영 체계입니다. 계획되지 않은 가동 중단 시간 1분마다 발생 지점에 따라 수십만 달러에서 수백만 달러의 손실이 도요타에게 발생합니다.

다운타임을 최소화하기 위해, 기업 AI 팀은 GearPal을 구축했습니다. 이 애플리케이션은 모든 기계 기술자에게 생산 라인의 어떤 제조 로봇이나 자산에 대한 문제 진단을 위한 자연어 인터페이스를 제공합니다. 기술자는 다가가서 기계가 왜 고장 났고 어떻게 수리해야 하는지 질문할 수 있으며, GearPal은 관련 진단 정보, 과거 서비스 기록 및 수리 지침을 표시해 줍니다. 이전에 진단하는 데 56시간이 걸릴 수 있었던 작업이 이제는 23분 만에 해결됩니다.

GearPal은 또한 세대 간 지식 전수 문제를 해결합니다. 숙련된 기술자들이 은퇴함에 따라, 신입 직원들은 기관의 전문 지식을 표면화할 수 있는 도구가 필요합니다. 여기에는 기술(skills)도 중요한 역할을 하는데, 이는 기계 관련 지식을 체계화하여 신규 및 숙련 직원이 문제 해결을 빠르게 할 수 있도록 돕습니다. 팀은 또한 제공업체 장애 발생 시 LLM 폴백(fallbacks)을 처리하기 위해 LLM 게이트웨이를 추가하여, GearPal이 실제 생산 라인에 배포될 만큼 충분히 안정적임을 보장합니다.

R&D GPT: 수년간의 연구를 몇 달로 압축하다

R&D 측면에서 Ravi의 팀은 다르지만 마찬가지로 높은 위험을 수반하는 문제를 다루고 있습니다. Toyota의 연구 자료는 방대하고, 매우 기술적이며, 수십 개의 문서 저장소에 분산되어 있습니다. 토요타 차량의 페인트처럼 겉보기에는 간단해 보이는 것 하나를 개발하는 데에도 극한의 고온과 저온에서의 테스트, 부식 저항성 분석, 로봇 적용 정밀도 검증 등 수년간의 배합 작업이 필요합니다.

R&D GPT는 Deep Agents를 기반으로 구축된 에이전트(agent)로, 연구자들이 토요타의 모든 내부 R&D 자료를 조회하고 그렇지 않으면 몇 주간의 수동 검토가 필요한 미묘한 차이를 표면화할 수 있도록 합니다. 이 에이전트를 출시한 이후, 연구 일정은 약 3년에서 1년으로 압축되었습니다.

핵심 기술적 과제는 중첩되는 도메인(페인트, 부식, 좌석 소재, 가죽 등) 전반에 걸친 검색 정밀도였습니다. 예를 들어, 초기에는 페인트에 대한 질의가 때때로 부식 데이터베이스에서 잘못된 정보를 가져오기도 했습니다. 이에 대응하여 팀은 LangGraph 기반의 병렬 도구 호출 시스템을 구축했습니다. 에이전트가 기본 도구에서 문서를 찾지 못하면, 동시에 보조 도구들을 조회하고 응답하기 전에 결과를 병합합니다.

LangSmith: AI를 위한 안돈 보드(Andon Board)

토요타의 근본적인 제조 원칙 중 하나인 안돈 보드는 공장 현장의 모든 사람들에게 무엇이 작동하고 있는지, 무엇이 고장 나고 있는지, 그리고 자원이 어디로 가야 하는지에 대한 실시간 시야를 제공합니다. LangSmith는 Kordel의 말에 따르면 토요타 AI 애플리케이션을 위한 안돈 보드입니다.

"LangSmith는 저희가 모든 에이전트를 모니터링하고, 무엇이 작동하는지, 무엇이 작동하지 않는지, 어떤 도구 호출(tool call)이 실패했는지, 어떤 PR이 파이프라인을 망가뜨렸는지, 그리고 사용자들이 어떤 기능을 채택하고 있는지 이해할 수 있게 해줍니다,"라고 Kordel이 설명했습니다. "이러한 관측 가능성(observability)은 단순히 저희가 더 나은 제품을 구축하는 데 중요할 뿐만 아니라, 우리가 구축하는 모든 도구가 안전하다는 것을 이해관계자들(stakeholders)을 설득하는 데에도 필수적입니다."

LangSmith를 통해 팀은 개별 에이전트 상호작용을 추적하고, 검색 실패(retrieval failures)를 식별하며, 사용자 집단 전반에 걸친 행동 패턴을 정량화할 수 있습니다. 이는 엔지니어링의 확신과 경영진의 승인 사이의 격차를 해소하는 데 필수적인 요소입니다. Kordel은 "LangSmith 관측 가능성은 전체 LangChain 생태계에서 저희가 가진 가장 큰 자산일 것입니다"라고 말했습니다.

팀은 또한 플랫폼 수준에서 LangSmith Insights Agent를 ToyotaGPT에 적용하여, 각 부서가 시스템을 어떻게 채택하고 있는지 이해하고 다음에 우선순위를 두어야 할 새로운 목적 기반 에이전트(purpose-built agents)가 무엇인지 파악하는 데 사용합니다.

8자리 수 규모의 비용 절감 추적

각 제조 사용 사례는 라인당, 공장당, 시설당 연간 최소 6자리 수(6 figures)의 비용 절감을 달성할 준비가 되어 있습니다. 토요타의 북미 제조 거점 전체에 걸쳐 외삽(Extrapolated)해 볼 때, 포트폴리오가 성숙함에 따라 시설당 수백만 달러 규모의 연간 비용 절감이 예상됩니다.

Kordel은 "희망적으로 다음 해에 이야기할 때는 저희가 7자리에서 8자리 수(7-to-8-figure range) 범위의 비용 절감 수준에 도달했다고 말할 수 있기를 바랍니다. 향후 몇 년 동안 그렇게 예측하고 있습니다"라고 말했습니다.

더 즉각적인 측면에서는, 4일 만에 에이전트를 배포하는 주기가 팀이 전사적으로 발생하는 수요 신호(demand signal) 속도를 따라잡을 수 있게 해줍니다. 50개 이상의 에이전트가 운영되고 확장 가능한 플랫폼 덕분에, 기업 AI 팀의 목표는 명확합니다. "AI는 대차대조표(balance sheet)에 올라갈 것이며, 그것은 LangChain 덕분일 것입니다. 저희는 그 효과와 투자 수익률(return on investment)을 보게 될 것입니다."

Deep Agents와 LangSmith가 에이전트 개발을 어떻게 가속화할 수 있는지 더 알아보세요.