ServiceNow SyGra Studio: LLM 워크플로우를 시각적으로 구축하고 관리하는 방법

ServiceNow SyGra Studio는 LLM 기반의 데이터 처리 워크플로우를 개발하는 과정을 혁신적으로 개선한 통합 플랫폼입니다. 기존에는 코드를 통해 복잡하게 구성해야 했던 AI 파이프라인을 시각적인 노드(Node) 기반 인터페이스로 구현할 수 있게 했습니다.

💡 핵심 기능 및 사용 흐름

1. 연결성 (Connectivity): Studio는 OpenAI, Azure OpenAI, Ollama, Vertex, Bedrock, vLLM 등 광범위한 LLM 모델을 지원하며, 사용자 정의 엔드포인트(custom endpoints)까지 연결할 수 있습니다. 데이터 소스 역시 Hugging Face, 로컬 파일 시스템, ServiceNow 데이터를 직접 연동하여 사용할 수 있으며, 실행 전 샘플 행(sample rows)을 미리 검토할 수 있어 안정성을 높입니다.

2. 워크플로우 설계 (Flow Design): 사용자는 'Create Flow'를 통해 시작(Start) 및 종료(End) 노드를 자동 생성하고, 필요한 기능을 블록 형태로 드래그 앤 드롭합니다. 예를 들어, 스토리 생성 파이프라인을 구축할 때, 첫 번째 LLM 노드에서 {prompt}와 같은 상태 변수(state variables)를 참조하여 결과를 story_body에 저장하고, 이 변수를 다음 'Story Summarizer' 노드의 프롬프트에 재사용하는 방식으로 데이터 흐름을 만듭니다. Studio는 이러한 변수 연결을 자동으로 관리하므로 수동 배선이나 추측이 필요 없습니다.

3. 구조화 및 제어 (Structuring & Control): 단순히 텍스트를 생성하는 것을 넘어, Pydantic 기반 매핑(mapping) 기능을 통해 원하는 스키마에 맞는 구조화된 출력을 정의할 수 있습니다. 또한, Lambda나 Subgraph 노드를 추가하여 재사용 가능한 로직이나 복잡한 분기 처리(branching behavior)가 필요한 경우에도 유연하게 대응합니다.

4. 실행 및 관찰 가능성 (Execution & Observability): 워크플로우를 'Run Workflow' 버튼을 통해 실행하면, 노드별 진행 상태, 사용된 토큰 수, 지연 시간(latency), 그리고 비용까지 실시간으로 스트리밍하여 확인할 수 있습니다. 모든 실행 기록은 .executions/ 디렉토리에 저장되어 추후 비교 분석이 용이합니다. 상세 로그와 인라인 브레이크포인트가 제공되어 디버깅 과정이 매우 간편해집니다.

5. 고급 활용 사례: SyGra Studio는 단순히 데이터를 생성하는 것을 넘어, 기존의 복잡한 워크플로우(예: tasks/examples/glaive_code_assistant/workflow)를 가져와 실행할 수도 있습니다. 이 예시에서는 데이터셋을 입력받아 답변 초안 작성 → 비평(critique) → 피드백 루프 반복 과정을 거치며, '더 이상 피드백 없음'이라는 조건이 충족될 때까지 반복하는 복잡한 AI 에이전트 패턴을 시각적으로 구현하고 테스트할 수 있습니다.

결론적으로 SyGra Studio는 LLM 기반의 데이터 파이프라인 구축에 필요한 모든 요소(모델 연결, 변수 관리, 구조화 출력 정의, 실시간 모니터링)를 하나의 사용자 친화적인 캔버스에서 제공하여, 개발자가 AI 애플리케이션을 빠르고 자신감 있게 빌드하고 검증할 수 있도록 지원합니다.