모두 녹색이지만, 여전히 고장 난 상태: LLM 통합 및 멀티 마켓 웹 애플리케이션으로부터 얻은 실시간 흐름 검증(Real-Flow

현대적인 웹 애플리케이션은 테스트하기 어려운 세 가지 요소, 즉 대규모 언어 모델(LLM)의 출력, 멀티 마켓 국제화(multi-market internationalization), 그리고 외부 데이터 소스를 기반으로 하는 브라우저 구동 프론트엔드(browser-driven front-ends)를 점점 더 많이 결합하고 있습니다. 우리는 6주 동안 자동화 테스트 스위트가 1,553개의 테스트 케이스로 성장한 실제 운영 중인 렌탈 검색 어시스턴트에 대해 보고합니다. 이 스위트는 지속적으로 통과되었음에도 불구하고, 사용자에게 노출되는 결함은 계속해서 운영 환경(production)에 도달했습니다. 우리는 프로젝트의 252개 버그 수정 커밋(bug-fix commits)을 모두 조사하고, 각 결함이 어떤 경계(boundary) 또는 심(seam)을 통해 빠져나갔는지 분류했습니다. 수정 사항의 약 44%는 컴포넌트 수준의 단위 테스트(unit tests)가 관찰할 수 없는 네 가지 심(seam)에 해당했습니다: 라이브 브라우저 런타임(live browser runtime), 비기본 마켓(non-default market), 엔드 투 엔드 흐름(end-to-end flow), 그리고 전체 시스템 수준(whole-system level)입니다. 심(seam)에 대한 방어 기제(guard)가 없는 수정은 하나의 결함이 두 번 배포되도록 방치했습니다. 우리는 네 가지 심(four-seam) 프레임워크, 측정된 결함 분포, 그리고 팀이 가장 많은 수정 사항을 유발하는 심(seam)을 찾을 수 있는 간단한 방법을 포함하여 우리가 채택한 관행들을 제시합니다.