연구자들은 AI가 생성한 코드의 버그를 약 8가지 클래스로 분류하며, 그중 일부만이 스캐너(scanner)가 일치시킬 수 있는 구조적 마커(structural marker)를 가지고 있습니다. AI 어시스턴트가 구조적으로 놓치는 부분을 잡아내는 스캐너인 BrassCoders는 이를 결정론적(deterministically)으로 포착하고, 나머지는 인간이나 LLM이 판단할 수 있도록 플래그를 지정합니다. 어떤 클래스가 무엇인지 아는 것은 무엇을 자동화하고 무엇을 수동으로 읽어야 하는지를 알려줍니다.

이것은 순위가 아니라 지도입니다. 핵심은 각 버그 클래스를 실제로 잡아낼 수 있는 계층(layer)에 매칭하는 것입니다.

8가지 버그 클래스

BrassCoders의 커버리지는 발표된 분류 체계(taxonomy)와 일치합니다. 2025년의 한 조사에서는 AI가 생성한 코드의 버그를 기능적(functional) 및 신뢰성(reliability) 버그부터, 코드가 그럴듯해 보이고 실행은 되지만 사실적으로 틀린 저자들이 환각(hallucination)이라 부르는 카테고리에 이르기까지 8가지 클래스로 분류합니다.

Gao와 동료들의 조사인 A Survey of Bugs in AI-Generated Code는 8가지를 다음과 같이 명명합니다: 기능적 버그(functional bugs), 신뢰성 버그(reliability bugs), 구문 버그(syntax bugs), 코드 스타일 및 표준 문제(code style and standards issues), 환각(hallucination), 시스템 버그(system bugs), 테스트 버그(test bugs), 그리고 지정되지 않은 기타(unspecified catch-all). 별도의 실증 연구인 Bugs in Large Language Models Generated Code는 오해(misinterpretations), 누락된 코너 케이스(missing corner cases), 환각된 객체(hallucinated objects)를 포함하여 333개의 실제 버그로부터 도출된 10가지 반복 패턴을 심층 분석합니다. 이 두 프레임워크는 서로 다르며, 함께 이 영역을 설명합니다.

결정론적 스캐너가 포착하는 것

BrassCoders는 구조적 지문(structural fingerprint)이 있는 클래스들을 포착합니다: 환각된 임포트(hallucinated imports), 성능 안티 패턴(performance anti-patterns), 하드코딩된 비밀 정보(hardcoded secrets), 구문 오류(syntax errors), 그리고 단일 파일 리뷰에서 건너뛰기 쉬운 파일 간 오염(cross-file taint) 등이 이에 해당합니다. BrassCoders의 12개 스캐너는 의도(intent)가 아닌 패턴을 매칭합니다.

이것들은 설문 조사(survey)의 구문(syntax), 신뢰성(reliability), 그리고 환각(hallucination) 클래스의 일부에 매핑됩니다. 해결되지 않는 임포트(import), 매 반복마다 문자열을 재구축하는 csv += 루프, shell=True가 포함된 subprocess 호출, AWS 키와 유사한 형태의 고엔트로피(high-entropy) 문자열 등은 각각 규칙이 작동하는 마커를 가지고 있으며, 이는 매번 동일한 방식으로 이루어집니다. 이들을 식별하기 위해 코드가 무엇을 '위한' 것인지에 대한 판단은 필요하지 않습니다. 그것이 바로 결정론적 게이트(deterministic gate)가 담당해야 할 작업입니다.

인간 또는 LLM이 필요한 부분

BrassCoders는 의도(intent)를 활성화하는 클래스들을 식별(flag)하지만 분류(triage)하지는 않습니다. 여기에는 기능적 논리 오류(functional logic errors), 누락된 예외 케이스(missing corner cases), 그리고 잘못된 답을 계산하면서도 깔끔하게 실행되는 '확신에 차 있지만 틀린' 코드 등이 포함됩니다. 구문(syntax)은 정상이고 논리가 미묘하게 어긋나 있는 경우, 규칙(rule)은 매칭할 대상이 없습니다.

이것들은 설문 조사의 기능적 버그(functional bugs)와 실증적 연구(empirical study)의 오해(misinterpretations) 및 예외 케이스 누락 패턴(missing-corner-case patterns)에 해당합니다. 이를 잡아내려면 코드가 무엇을 수행하기로 되어 있었는지 알아야 하는데, 이는 스캐너가 문맥(context)을 추론하지 않고서는 할 수 없는 추론(reasoning)의 영역이며, 문맥을 추론하는 지점부터 스캐너는 틀리기 시작합니다. BrassCoders의 설계는 의도적으로 그 지점에서 선을 긋습니다. BrassCoders는 패턴과 주변 문맥을 YAML 형식으로 보고하며, 인간이나 Claude Code와 같은 LLM이 해당 논리가 타당한지 결정합니다.

가장 어려운 클래스: 환각 (Hallucination)

BrassCoders는 가장 어려운 클래스의 한 조각을 명확한 검사 항목으로 전환합니다. 환각된 임포트(hallucinated imports)는 해결되거나, 되지 않거나 둘 중 하나입니다. 2025년의 개발자-LLM 대화에 대한 연구에 따르면 Python 코드 조각의 83.4%에서 정의되지 않은 변수(undefined variables)가 발견되었으며, USENIX 연구에서는 AI가 추천한 패키지의 19.7%가 존재하지 않는 것으로 나타났습니다.

환각 (Hallucination)은 그럴듯해 보이는 잘못된 코드에 보편적인 표식이 없기 때문에 일반적으로 어렵습니다. 하지만 임포트 (import) 하위 사례는 결정론적 (deterministic)입니다. 패키지가 인덱스에 있거나 없거나, 이름이 스코프 (scope) 내에 정의되어 있거나 아니거나 둘 중 하나이기 때문입니다. developer-LLM 연구에 따르면 Python의 정의되지 않은 변수 (undefined-variable) 비율은 83% 이상이며, package-hallucination 연구에서는 존재하지 않는 임포트가 약 5개 중 1개꼴로 나타납니다. BrassCoders는 pip install이 실행되기 전에 이 두 가지를 모두 확인하며, 이를 통해 별도의 인간 개입이 필요한 클래스에서 공급망 리스크 (supply-chain risk)를 제거합니다.

분류 체계를 스캔에 매핑하기

BrassCoders는 구조적 클래스들을 12개의 스캐너 (scanners)로 실행하고, 의도에 의존적인 클래스들은 리뷰어에게 YAML 형식으로 전달하므로, 이 분류 체계는 단순한 읽기 목록이 아닌 분업의 형태가 됩니다. 스캔 결과는 각 발견 사항에 대한 클래스 명칭을 명시합니다.

연구의 핵심 요점은 AI 생성 코드의 버그가 "표식이 있는 것"과 "추론이 필요한 것"으로 명확히 나뉜다는 점입니다. 첫 번째 집합은 결정론적인 게이트 (deterministic gate)로 자동화하고, 두 번째 집합은 컨텍스트 (context)가 첨부된 상태로 인간이나 LLM에게 전달하십시오. 스캔을 실행하고, YAML을 읽고, 실제로 지능이 필요한 버그에 주의를 집중하십시오.

pip install brasscoders
brasscoders --offline scan /path/to/your/project