속성 기반 테스트 (Property-based testing): 예시 기반 테스트가 놓치는 버그를 찾는 방법

예시 기반 테스트 (Example-based tests)는 특정 입력값과 예상되는 출력값을 확인합니다. 이는 표준적인 접근 방식이지만, 당신이 테스트할 것이라고 생각하는 부분만을 테스트하게 됩니다. 속성 기반 테스트 (Property-based testing)는 무작위 입력값을 생성하고 특정 속성 (properties)이 항상 참인지 확인합니다. 이는 로직의 경계 조건 (edges)에서 버그를 찾아냅니다.

속성 (property)이란 당신의 함수에 대해 항상 참이어야 하는 문장입니다. 정렬 (sort) 함수의 경우, 속성은 출력이 정렬되어 있어야 하며 입력과 동일한 요소들을 포함해야 한다는 것입니다. 전화번호 포맷터 (phone number formatter)의 경우, 속성은 출력이 숫자와 대시 (dashes)로만 구성되어야 한다는 것입니다.

속성 기반 테스트 프레임워크는 무작위 입력을 생성하고 이를 통해 당신의 속성을 검증합니다. Python을 위한 Hypothesis, JavaScript를 위한 fast-check, 그리고 Haskell을 위한 QuickCheck가 인기 있는 선택지입니다. 프레임워크는 수백 개의 테스트 케이스를 생성하며, 하나가 실패하면 해당 입력을 최소한의 실패 케이스 (minimal failing case)로 단순화합니다.

일반적인 속성으로는 항등성 (idempotence), 교환 법칙 (commutativity), 그리고 라운드 트립 (round-tripping) 등이 있습니다. 이러한 속성들은 시스템의 불변량 (invariants)을 포착합니다. 항등성 (Idempotence)은 함수를 두 번 실행해도 동일한 결과가 나옴을 의미합니다. 교환 법칙 (Commutativity)은 연산의 순서가 상관없음을 의미합니다. 라운드 트립 (Round-tripping)은 직렬화 (serialization) 후 역직렬화 (deserialization)를 거쳤을 때 원래의 값으로 돌아오는 것을 의미합니다.

속성 기반 테스트는 파서 (parsers), 검증기 (validators), 직렬화 도구 (serializers), 그리고 상태 머신 (state machines)과 같이 복잡한 입력을 처리하는 모든 코드에 특히 효과적입니다. 이 영역들은 예시 기반 테스트가 엣지 케이스 (edge cases)를 놓치기 쉬운 부분입니다.

예시 기반 테스트와 함께 속성 기반 테스트를 당신의 테스트 스위트 (test suite)에 통합하세요. 개발 중에는 반복 횟수를 적게 하여 실행하고, CI (지속적 통합) 환경에서는 더 많은 반복 횟수로 실행하세요. 속성 기반 테스트는 예시 기반 테스트보다 느리지만 더 깊은 버그를 찾아냅니다.

이러한 투자는 시간이 지나면서 결실을 맺습니다. 일단 속성을 작성하고 나면, 프레임워크가 자동으로 새로운 테스트 케이스를 생성합니다. 코드가 진화함에 따라, 속성은 계속해서 정확성을 검증해 줄 것입니다.

-

Rizwan Saleem | https://rizwansaleem.co