Pipeflow PHP

Pipeflow는 PHP 애플리케이션을 위한 경량 파이프라인 엔진 (pipeline engine)입니다. 이를 통해 복잡한 자동화 과정을 '스테이지 (stages)'라고 불리는 작고 재사용 가능한 처리 단계의 시퀀스로 설명할 수 있습니다. 진정한 강력함은 전체 흐름을 읽기 쉽고, 시각화하기 쉬우며, 추론하기 용이한 명확한 XML 형식으로 표현할 수 있다는 점에 있습니다. 따라서 비개발자도 PHP 코드를 직접 건드리지 않고도 자동화 프로세스를 검토, 유지보수 및 업데이트할 수 있습니다 (물론 하드코딩된 PHP 코드를 통해 파이프라인을 구성할 수도 있습니다).

각 스테이지는 공유된 컨텍스트 (context)를 전달받아 집중된 단위의 작업을 수행하고, 풍부해진 컨텍스트를 다음 스테이지로 반환합니다. 스테이지들을 서로 연결함으로써 각 요소를 유지보수하고 테스트하기 쉬운 상태로 유지하면서도 복잡한 작업들을 오케스트레이션 (orchestrate)할 수 있습니다.

다시 말해, Pipeflow 라이브러리는 XML 설정으로부터 하나 이상의 파이프라인을 인스턴스화하고, 초기 컨텍스트에 시작 데이터를 제공하며 (선택 사항), 원하는 시점에 이를 실행할 수 있는 도구들을 제공합니다. 여러분이 해야 할 일은 웹 애플리케이션에서 이러한 도구들을 사용하여 사용자가 다음과 같은 작업을 할 수 있도록 하는 것입니다: 파이프라인의 설정 XML을 편집하고 (텍스트 에디터를 통해), 파이프라인 XML 설정을 어딘가에 저장하며 (예: 애플리케이션 DB), 애플리케이션에서 파이프라인을 시작해야 할 때 (수동 또는 cron을 통해) 단순히 XML을 로드하여 Pipeline 클래스 인스턴스에 전달하고 실행하는 것입니다.

Pipeflow가 중요한 이유

사용자 친화적인 설정 (Human-friendly configuration) – 비즈니스 사용자(Business users)와 개발자 모두가 안전하게 읽고, 검토하고, 편집할 수 있는 XML 문서로 자동화(Automations)를 기술합니다.
조합 가능한 워크플로우 (Composable workflows) – 일회성 스크립트를 작성하는 대신, 집중된 단계(Stages)들을 서로 연결하여 정교한 자동화를 구축합니다.
일관된 실행 모델 (Consistent execution model) – 모든 단계가 동일한 PipelineContext를 사용하여 단계 간의 데이터 전달이 직관적입니다.
설정 가능한 런타임 (Configurable runtime) – PHP 또는 XML로 파이프라인을 작성할 수 있어, 팀에 가장 적합한 설정 스타일을 선택할 수 있습니다.
확장 가능한 카탈로그 (Extensible catalogue) – 자체 커스텀 단계(Custom stages)를 등록하여 서드파티 서비스, 생성형 AI (Generative AI) 호출 또는 맞춤형 비즈니스 로직을 통합할 수 있습니다.

사용 사례 예시

모든 CMS를 위한 편집 자동화 (Editorial automation for any CMS) – Pipeflow를 활용하여 팀 내의 어떤 구성원(비개발자 포함)이라도 쉽게 편집하고 개선할 수 있는 커스텀 워크플로우를 구축하는 CMS 플러그인을 만드세요. 게시물을 가져오고, 콘텐츠를 변환하며, 예약된 파이프라인으로부터 발행 흐름을 트리거할 수 있습니다. 편집자는 XML에서 직접 동작을 미세 조정할 수 있으므로, 팀 내 모든 구성원(비개발자 포함)이 워크플로우를 유지 관리하고, 개선하며, 변경할 수 있습니다.
백오피스 데이터 처리 (Back-office data processing) – 코드를 재배포하지 않고도 피드(Feeds)를 소비하고, 데이터를 정제하며, 결과를 다운스트림 서비스(Downstream services)로 동기화하는 야간 ETL 작업을 구축합니다.
마케팅 및 CRM 오케스트레이션 (Marketing and CRM orchestration) – 이해관계자가 직접 로직을 조정할 수 있도록 허용하면서, 리드(Leads)를 풍부하게 하고, 외부 API를 호출하며, SaaS 도구들을 동기화된 상태로 유지합니다.
AI 지원 콘텐츠 워크플로우 (AI-assisted content workflows) – 위 웹사이트들에서 제가 했던 것처럼, 프롬프트 생성(Prompt generation), 무작위화(Randomisation), 템플릿화(Templating) 단계를 결합하여 창의적인 작업들을 자동화합니다.
비개발자도 쉽게 유지 관리할 수 있는, 상상 가능한 모든 자동화/워크플로우(workflow) - 커스텀 단계(custom stages)를 생성할 수 있게 함으로써, 고유한 비즈니스 로직을 새로운 커스텀 단계로 캡슐화할 수 있으며, 이를 파이프라인(pipelines)에서 사용할 수 있습니다. 이러한 파이프라인은 팀 내의 어떤 구성원이든, 이해하기 쉽고 읽기 편한 XML 설정(configuration)을 통해 쉽고 시각적으로 편집, 유지 관리 또는 개선할 수 있습니다.

설치 및 문서 (Installation and Documentation)

설치 지침, 퀵 스타트(quick start), 상세한 단계 카탈로그(stage catalogue)를 포함한 전체 참조 문서는 DOCUMENTATION.md에 있습니다.

파이프라인에 대한 빠른 소개 (Quick introduction to pipelines)

파이프라인은 실행되어야 하는 순차적인 단계(stages)와 그 단계들이 교환하는 데이터를 기술합니다. 일반적인 단계들은 파라미터와 그 값들을 담고 있는 컨테이너인 PipelineContext로부터 값을 읽거나 쓰며, 데이터를 변환하거나, 실행 흐름(루프, 조건문 등)을 제어합니다. 파이프라인은 빈 컨텍스트(context)로 시작하지만, 단계들이 사용할 준비된 데이터를 파이프라인에 제공하고 싶다면 코드로부터 시작 컨텍스트를 주입할 수 있습니다.

각 단계는 컨텍스트에 데이터를 읽고 쓸 수 있으며(파라미터), 다양한 연산(API 호출, 커스텀 비즈니스 로직 수행 등 커스텀 단계를 구현하여 수행하는 커스텀 연산 포함)을 수행할 수 있습니다. 이러한 데이터는 파이프라인 실행이 완료될 때까지 후속 단계들에 의해 읽히고 조작될 수 있습니다. 실행이 완료되는 시점에, 조작된 컨텍스트(실행된 단계들에 의해 기록된 모든 파라미터 포함)가 파이프라인에 의해 반환됩니다.

XML을 이용한 설정 (Configuring with XML)

파이프라인은 XML로 선언될 수 있으므로 PHP 코드를 건드리지 않고도 편집할 수 있습니다. 최소한의 XML 파이프라인은 다음과 같습니다.

<?xml version="1.0" encoding="utf-8"?>
<pipeline id="hello_world">
  <stages>
...

애플리케이션이 Pipeflow에 XML 설정을 로드하도록 지시하면, Pipeflow는 자동으로 파이프라인을 구성하고 실행할 준비를 마칩니다. 그런 다음 애플리케이션은 파이프라인 인스턴스의 execute() 메서드를 호출하는 것만으로(필요할 때 즉시 또는 cron을 통해) 파이프라인을 실행할 수 있습니다.
원한다면 미리 정의된 시작 컨텍스트 (starting context)를 전달할 수도 있습니다 (예를 들어, 코드에서 파이프라인 실행으로 데이터를 전달하여 각 스테이지(stages)에서 사용할 수 있도록 하고 싶은 경우).

파이프라인 정의가 데이터 주도(data-driven) 방식이기 때문에, 코드를 다시 배포하지 않고도 파라미터를 조정하거나 스테이지의 순서를 변경할 수 있습니다.

PHP를 통한 프로그래밍 방식의 설정

XML은 파이프라인을 "시각적으로" 구성하기에 더 쉬운 방법이며, 웹 애플리케이션 내의 어떤 사용자라도 자동화를 관리할 수 있게 함으로써 비개발자도 이를 편집하고 유지 관리할 수 있도록 허용합니다. 하지만 여러분의 PHP 코드 내에서 프로그래밍 방식으로도 파이프라인을 구성할 수 있습니다. 이는 예를 들어 애플리케이션 관리 패널에서 편집/유지 관리할 필요가 없는 비즈니스 로직 자동화, 변경이 거의 없는 고정된 자동화, 또는 비개발자 사용자가 유지 관리할 필요가 없는 경우에 유용할 수 있습니다. 자세한 내용은 DOCUMENTATION.md를 참조하세요.

커스텀 스테이지(custom stages)를 통한 확장

Pipeflow는 내장된 스테이지 카탈로그를 제공하지만, API, 내부 시스템 또는 플랫폼 특화 동작을 통합하기 위해 자신만의 커스텀 스테이지를 등록할 수 있습니다. 일단 등록되면 커스텀 스테이지는 PHP 및 XML 파이프라인 모두에서 사용할 수 있으며, 여러 프로젝트에 걸쳐 재사용할 수 있습니다.

실제 사용 사례

다음은 Pipeflow의 강력한 기능을 활용하는 실제 사용 사례들입니다.

PagineDaColorare.it: AI를 사용하여 어린이용 색칠 공부 페이지를 매일 자동으로 생성하고 게시하는 WordPress 웹사이트입니다. 이 웹사이트는 제가 개발한 두 개의 WordPress 플러그인(향후 공개할 수도 있습니다)을 사용합니다. 하나는 Pipeflow-PHP를 WordPress에 노출하여 WordPress를 관리하기 위한 몇 가지 커스텀 스테이지(포스트 생성, 이미지 저장, 커스텀 필드 설정, 카테고리 및 태그 설정 등)를 추가하고, WordPress 관리자 패널에서 파이프라인의 XML을 수정할 수 있게 해줍니다(이를 통해 로직을 정교화하거나, 콘텐츠 생성 로직을 개선하거나, 크리스마스와 같은 공휴일 로직을 변경하는 등의 작업이 가능합니다). 다른 플러그인은 Pipeflow에 OpenAI API를 사용하여 텍스트와 이미지를 생성할 수 있는 추가적인 커스텀 스테이지를 더합니다. 이 모든 새로운 커스텀 스테이지들은 크론(cron)을 통해 매일 색칠 공부 콘텐츠 생성 파이프라인을 자동으로 실행하는 데 함께 사용됩니다.
이점은 개발자가 아닌 사람이라도 WordPress 관리자 패널에서 XML 설정을 변경하는 것만으로 색칠 공부 콘텐츠 생성 파이프라인 로직을 정교화하고, 유지 관리하며, 편집할 수 있다는 것입니다.
현재 색칠 공부 콘텐츠 생성 파이프라인 설정은 상당히 복잡하지만, 읽고 이해하며 유지 관리하기가 매우 쉽습니다. 이는 다양한 스테이지 유형을 결합하여 색칠 공부 페이지의 테마, 주제, 동작을 무작위로 설정하며, 파이프라인 실행의 여러 단계에서 AI의 지원을 요청합니다.
Fiaberello.it: 위의 웹사이트와 유사하게, Pipeflow의 강력한 기능을 활용하여 제가 개발한 또 다른 웹사이트입니다. 각 동화마다 표지 이미지를 포함하여 어린이용 동화를 자동으로 생성하고 게시합니다. 이는 일종의 테스트/예시이며, 파이프라인이 이전 것보다 더 단순하고 정교하여 더욱 개선될 여지가 있습니다.

더 알아보기

설치 지침, 제어 흐름(control-flow) 스테이지 및 상세 스테이지 카탈로그를 포함한 전체 참조 문서는 DOCUMENTATION.md에서 확인할 수 있습니다.

Pipeflow 기여하기

Pipeflow는 커뮤니티의 입력으로 성장하며, 반드시 개선과 기능 추가가 필요합니다. 코어 엔진 (core engine)을 개선하고 싶거나, 새로운 기능을 추가하고 싶거나, 새로운 내장 스테이지 (built-in stages)를 추가하고 싶거나, 버그를 수정하고 싶거나, 혹은 실제 배포 환경에서의 피드백을 공유하고 싶다면, 우리는 기꺼이 협업하고 싶습니다.
이슈 보고, 아이디어 제안, 그리고 풀 리퀘스트 (pull requests) 제출에 관한 가이드라인은 CONTRIBUTING.md를 확인해 주세요.

라이선스

Pipeflow는 허용적인 BSD 3-Clause License에 따라 배포되며, 이는 커뮤니티의 기여를 장려하는 동시에 오픈 소스 및 상업적 이용 모두에 친화적인 프로젝트 상태를 유지합니다.

Show HN: Pipeflow-PHP – 파이프라인을 통해 비개발자도 편집 가능한 모든 자동화 구현

요약

핵심 포인트