연재: AI에게 일자리를 빼앗길 불안에서 시작하는 하네스 작성 입문

제17회: AI 시대에도 SE의 품질 보증 경험이 가치를 갖는 이유

제1~16회: ✅ 공개 완료 ｜ 해당 기사: 📖 ｜ 다음 회: 제18회

LLM이 코드를 생성하고, AI 에이전트가 태스크를 실행한다. 그런 시대에 "품질을 보증하는 것은 누구의 일인가?"라는 질문이 떠오릅니다.

결론부터 말하자면, AI 시대이기 때문에 더욱 품질 보증 경험이 가치를 갖습니다. 다만, 그 활용 방법은 기존과 조금 달라집니다. 이번에는 그 "변하는 부분"과 "변하지 않는 부분"을 정리하여 QA 관점표로서 정리합니다.

AI가 생성한 코드나 출력에는 기존의 소프트웨어 개발과는 다른 품질 리스크가 있습니다.

이러한 차이가 있기 때문에 "품질을 보는 눈"을 가진 SE의 경험이 중요해집니다.

업무 시스템에서 "입력값의 유효성 검사 (Validation)"를 설계한 경험은 AI 에이전트에 대한 프롬프트 검증에 그대로 응용할 수 있습니다.

• 입력 길이 제한, 금지 문자 체크 → 프롬프트 길이 제한, 인젝션 (Injection) 탐지
• 필수 항목 체크 → 태스크의 필수 파라미터 검증
• 마스터 데이터와의 대조 → 화이트리스트와의 대조

장표 출력이나 리포트 생성에서 "출력이 사양대로인지"를 확인해 온 경험은 AI 출력 검증에 활용됩니다.

• 포맷 검증 → AI 출력의 구조화 데이터 검증
• 값의 범위 체크 → AI 출력의 타당성 체크
• 크로스 체크 (Cross-check) → 복수의 AI 출력 간의 정합성 확인

장애 대응이나 예외 처리 설계 경험은 AI 에이전트의 에러 핸들링 (Error Handling)에 직결됩니다.

• 재시도 로직 (Retry Logic) → API 타임아웃 시의 재시도
• 서킷 브레이커 (Circuit Breaker) → 무한 재시도 방지
• 폴백 (Fallback) 설계 → AI 실패 시의 대체 처리

보안 설계나 취약점 대응 경험은 AI 특유의 리스크에 대한 대책으로 활용할 수 있습니다.

• 권한 관리 → 툴 액세스 제어
• 입력 새니타이즈 (Sanitize) → 프롬프트 인젝션 (Prompt Injection) 대책
• 감사 로그 (Audit Log) → AI 처리의 추적성 (Traceability)

위의 4개 영역을 정리한, 하네스 개발용 QA 관점표입니다.

• "입력을 의심하는" 자세

• 이상 계통을 먼저 생각하는 습관

• 테스트로 품질을 담보하는 접근 방식

• 감사 로그로 추적성을 확보하는 설계

• 비결정적인 출력에 대한 대응 (통계적 테스트 도입)

• 프롬프트 인젝션이라는 새로운 공격 벡터

• AI의 "환각 (Hallucination)"을 탐지하는 메커니즘

• 비용 (토큰 소비) 모니터링

위의 QA 관점표를 템플릿으로 하여, 자신의 하네스에 적용해 보세요.

• 각 관점에 대해 "대응 완료", "미대응", "해당 없음"을 기입
• 미대응 항목에 우선순위를 부여
• 우선순위 "높음"부터 대응을 시작

모든 관점에 한 번에 대응할 필요는 없습니다. 중요한 것은 "관점을 가지고 있다는 것" 자체입니다.

품질 보증 경험을 AI 영역에 활용하는 로드맵을 그린다면, 다음과 같은 단계가 생각됩니다.

• 현재의 스킬을 정리: QA 관점표로 자신의 경험을 가시화 -

• 하네스에서 실천: 자신의 하네스에 품질 게이트를組み込む (구축) -

• 새로운 관점을 학습: 프롬프트 인젝션, 환각 탐지 등 -

• 팀에 전개: 하네스 품질 가이드라인 정비

• AI 생성물에는 기존과 다른 품질 리스크가 있음 (비결정성·환각·새로운 공격 벡터)

• SE의 품질 보증 경험은 4개 영역 (입력 검증·출력 검증·에러 핸들링·보안)에서 활용됨

• QA 관점표로 12개의 체크 항목을 정리. 우선순위 "높음"부터 대응

• "관점을 갖는 것" 자체가 가장 중요한 첫걸음

제18회 "MCP 서버의 단체 테스트·결합 테스트 관점 만들기"에서는, 이번에 작성한 QA 관점표를 베이스로 MCP 서버의 구체적인 테스트 케이스 표를 작성합니다. pytest를 사용한 구현 예시를 포함하여 "어떻게 테스트를 작성해야 하는가"라는 구체적인 질문에 답합니다.

📖 연재 목록: 제116회 ✅ 공개 완료 ｜ 제17회 (본 기사) ｜ 제18회 계속될 예정