FLOWSTEP: GitHub Actions 워크플로우 단계 예측 학습을 위한 프레임워크

요약

본 논문은 CI/CD 파이프라인의 복잡성을 해결하기 위해 FLOWSTEP이라는 새로운 프레임워크를 제시합니다. FLOWSTEP은 Actions와 Scripts 구분을 명시적으로 하고 대비 학습(contrastive learning)을 결합하여 워크플로우 단계 예측 정확도를 크게 향상시켰습니다. 또한, LLM-as-a-judge가 수동 평가에 대한 확장 가능한 보조 역할을 할 수 있음을 입증했습니다.

핵심 포인트

• 기존 모델은 Actions와 Scripts의 구조적 차이를 간과함.
• FLOWSTEP은 대비 학습을 통해 의미론적 관계를 포착하여 성능 개선.
• 워크플로우 단계 예측 정확도가 38.23%에서 51.09%로 향상됨.
• LLM-as-a-judge가 인간 주석과 높은 일치도를 보임.