데이터 생성(Massa de Dados)을 위한 프롬프트 엔지니어링: LLM을 활용하여 중복 없이 커버리지를 확보하며 테스트 확장하기

합성 데이터(Synthetic Data) 생성을 위한 LLM(Large Language Models)의 사용은 테스트 파이프라인을 확장해야 하는 QA 팀에게 매력적인 전략이 되었습니다. 수백 개의 복잡한 레코드를 단 몇 초 만에 생성한다는 약속은 매우 유혹적입니다. 하지만 실제로는 기술적인 지침 없는 자동화된 생성은 **커버리지에 대한 가짜 안도감(false sensation of coverage)**이라는 치명적인 위험을 초래합니다.

일반적인 프롬프트(예: "테스트를 위한 사용자 50명 생성해줘")에 노출될 때, LLM은 예측 가능한 통계적 패턴 내에서 작동하는 경향이 있습니다. 그 결과는 "João da Silva" 효과입니다. 즉, "해피 패스(happy path)\

• 커버리지 (Cobertura): 코드의 상태 전이(state transition)의 정확한 값(예: R$ 99,99, R$ 100,00, R$ 100,01)이 테스트되도록 보장합니다.
• 효율성 (Eficiência): 동일한 동등 클래스(equivalence class) 내의 중복 데이터를 제거하여, 테스트 스위트(test suite)를 간결하고 성능 좋게 유지합니다.

2. 상태 전이 행렬 패턴 (행동 중복 방지)

이벤트 기반 시스템이나 상태 머신(state machine)(예: 결제 흐름 또는 주문 처리)에서는 테스트 데이터가 엔티티의 비동기성(asynchronicity)과 생명주기(lifecycle) 이력을 반영해야 합니다. 흔히 발생하는 실수는 최종 상태나 안정적인 초기 상태만을 나타내는 데이터를 생성하는 것입니다.

다음 프롬프트는 그래프 제약(graph constraint)을 사용하여 AI가 예외 경로(exception paths)와 유효하지 않은 전이(invalid transitions)를 커버하도록 강제합니다.

구조화된 프롬프트 예시:

컨텍스트: 다음과 같은 상태를 가진 주문 관리 시스템: [생성됨, 결제됨, 청구됨, 발송됨, 배송됨, 취소됨].

생성 지침: 시스템의 상태 전이 행렬(State Transition Matrix)을 커버하는 CSV 형식의 테스트 데이터 세트를 생성하십시오.
...

이 접근 방식이 해결하는 문제:

• 중복 방지 (Prevenção de Duplicidade): 전이를 고유 키(현재_상태 + 대상_상태)로 매핑함으로써, 이미 테스트된 표준 주문과 같은 일반적인 흐름에 대해 LLM이 여러 레코드를 생성하는 것을 방지합니다.
• 네거티브 테스트 (Testes Negativos): 시스템의 회복 탄력성(resilience) 검증 및 오류 처리를 위한 데이터 생성을 강제합니다.

3. 제한된 변동성 패턴 (Negative Prompting)

LLM의 엔트로피(entropy)로 인해 현실적이지만 분포가 지나치게 균일한 데이터(예: 항상 동일한 우편번호 범위나 동일한 인구 통계 사용)를 생성할 수 있습니다. 테스트가 편향되는 것을 방지하기 위해, 명시적인 분산(variance) 제약과 네거티브 프롬프팅 (Negative Prompting)(모델이 하지 말아야 할 행동) 개념을 적용합니다.

구조화된 프롬프트 예시:

작업: 신용 분석 시스템의 승인 테스트 (homologação)를 위해 JSON 형식의 고객 프로필 10개를 생성하세요.

변동성 요구사항:
...

이 접근 방식이 해결하는 문제:

• 외적 편향 제거 (Eliminação de Viés Extrínseco): 위치 기반의 프론트엔드 검증이나 백엔드 규칙, 또는 넓은 수치적 제한 사항들이 의미론적으로 다양한 데이터를 처리할 수 있도록 보장합니다.
• 구문론적 결정론 (Determinismo Sintático): 생성된 데이터에 대한 사후 수동 정제 (sanitization)의 필요성을 줄여줍니다.

결론: 다음 단계로서의 결정론적 검증 (A Validação Determinística)

강력한 프롬프트 엔지니어링 (Prompt Engineering)은 합성 데이터 생성 시 발생하는 커버리지 및 중복 문제의 대부분을 완화하지만, 검증의 필요성을 완전히 없애지는 않습니다. CI/CD 파이프라인의 대규모 시나리오를 위한 이상적인 접근 방식은 구조화된 생성적 생성 (geração generativa estruturada) (위의 프롬프트를 활용한 LLM 방식)과 **결정론적 검증 계층 (camada de validação determinística)**을 결합하는 것입니다.

AI가 제공하는 속도의 이점은 생성된 데이터가 의도적일 때만 실제 효율성으로 전환됩니다. 따라서 QA의 역할은 정적 데이터를 작성하는 것에서 생성 모델을 제어하는 제약 규칙 (regras de restrição)을 코딩하는 것으로 진화합니다.