자연어 요구사항에 대한 LLM 기반 코드 정적 검증: 산업 현장 경험 보고서

대규모 언어 모델 (LLMs)은 요구사항 명세서 (requirements specifications), 설계 문서, 코드 및 테스트 케이스를 생성하는 데 점점 더 많이 사용되고 있습니다. 이와 대조적으로, 구현된 코드가 자연어로 작성된 요구사항을 충족하는지 정적으로 검증하는 더 어려운 보증 (assurance) 문제에는 훨씬 적은 관심이 기울여져 왔습니다. 전통적인 정적 분석 (static analysis) 도구는 코딩 결함과 알려진 취약점 패턴을 탐지하는 데는 효과적이지만, 프로그램의 동작이 의도된 비즈니스 로직과 일치하는지 여부는 판단할 수 없습니다. 이러한 결함을 탐지하려면 코드뿐만 아니라 명세 (specification)에 대한 추론이 필요합니다. 소프트웨어 테스트 (software testing)를 통해 이러한 불일치 중 일부를 드러낼 수 있지만, 그 효과는 테스트 설계, 실행 가능한 산출물 (executable artifacts) 및 런타임 환경 (runtime environments)에 크게 의존합니다.

본 논문은 지능형 차량 사이버 보안 사례 연구에서 이 과제를 해결하기 위한 2단계 LLM 기반 워크플로를 제시합니다. 첫 번째 단계에서는 AI 기반 규칙 마이너 (rule miner)가 자연어 요구사항에서 검증 가능한 규칙을 추출하는 동시에, 모호성 (ambiguity), 자기 모순 (self-contradiction) 및 기타 검증 불가능한 문장을 명시적으로 식별합니다. 두 번째 단계에서는 AI 기반 코드 감사기 (code auditor)가 추출된 규칙에 따라 구현 증거를 확인합니다. 단일 LLM에게 긴 자연어 명세에 대해 코드를 직접 검증하도록 요청하는 대신, 이 워크플로는 환각 (hallucination), 출력 가변성 (output variability), 제한된 설명 가능성 (explainability) 및 컨텍스트 손실 (context loss)을 줄이기 위해 구조화된 중간 표현 (intermediate representation)을 도입합니다.

결과적으로 이 접근 방식은 소프트웨어 테스트를 보완하는 요구사항 인식 및 의미론 인식 (requirement-aware and semantics-aware) 형태의 정적 분석입니다. 컴파일, 실행 또는 런타임 환경을 요구하지 않고 요구사항과 소스 코드를 분석함으로써, 이 방법은 개발 라이프사이클에서 검증 및 확인 (verification and validation) 활동을 왼쪽으로 이동 (shift left)시킵니다. 이 LLM 기반 정적 분석은 테스트 오라클 문제 (test oracle problem)를 해결하기 위한 새로운 접근 방식이기도 합니다.