FlowMaker: 작업(Tasks)에서 비용 효율적인 생성형 AI 워크플로우 배포까지

요약

FlowMaker는 생성형 AI 워크플로우의 효율적인 배포를 위한 시스템입니다. 이 시스템은 작업 수준 인터페이스를 노출하여 사용자 대신 최적의 '워크플로우 변형체'(워크플로우, 모델, 배포 구성 조합)를 선택합니다. FlowMaker는 실시간으로 제약 조건 기반 부하 인식 가지치기 알고리즘을 사용하여 goodput을 향상시키고 비용을 절감하는 것이 핵심입니다.

핵심 포인트

• FlowMaker는 워크플로우 변형체(Workflow-variant) 선택에 초점을 맞춥니다.
• 실시간, 동적 클러스터 상태에서 최적의 조합을 탐색합니다.
• 제약 조건 기반 부하 인식 가지치기 알고리즘을 사용했습니다.
• 최신 기술 대비 goodput을 최대 10.14배 향상시키고 비용을 절감합니다.