서론 (Introduction)

인공지능 (AI)은 소프트웨어가 작성되는 방식을 근본적으로 변화시켰습니다.

이제 개발자들은 AI 코딩 어시스턴트 (AI coding assistants)를 사용하여 몇 초 만에 함수, API, 인프라 템플릿, SQL 쿼리, 단위 테스트 (unit tests), 문서화, 심지어 완전한 애플리케이션까지 생성합니다. 생산성 향상은 부정할 수 없는 사실입니다. 개발 주기가 단축되고 있으며, 팀들은 그 어느 때보다 빠르게 기능을 출시하고 있습니다.

하지만 이러한 속도는 눈에 보이지 않는 커다란 과제를 불러왔습니다.

모든 AI 생성 코드 제안은 불확실한 계보 (lineage)를 가지고 있습니다. 알려진 저장소 (repository)에서 다운로드하는 기존의 소프트웨어 의존성 (dependency)과 달리, AI 생성 코드는 수십억 줄의 공개 및 독점 소프트웨어 전반에서 학습된 패턴으로부터 기원할 수 있습니다. 정확한 출처 (provenance)를 결정할 수 없는 경우가 많습니다. 보안 가정 (security assumptions)을 검증하기가 더 어려워지며, 라이선스 의무 (licensing obligations) 또한 불분명해집니다. 오픈 소스 소프트웨어를 위해 설계된 거버넌스 (governance) 프로세스는 모델 생성 코드 (model-generated code)를 고려하지 못하는 경우가 빈번합니다.

그 결과, 결정론적 (deterministic)이기보다는 확률론적 (probabilistic)인 새로운 소프트웨어 공급망 (software supply chain)이 탄생했습니다.

기업 기술 리더들에게 이는 소프트웨어 위험의 정의를 변화시킵니다. 소프트웨어 공급망 보안은 더 이상 패키지 저장소, 제3자 라이브러리, 또는 컨테이너 이미지에 국한되지 않습니다. 이제는 AI 코딩 어시스턴트, 파운데이션 모델 (foundation models), 프롬프트 엔지니어링 (prompt engineering), 생성된 결과물 (artifacts), 그리고 이를 둘러싼 거버넌스 통제까지 확장됩니다.

본 연구 보고서는 AI 생성 코드의 위험이 어떻게 기업 소프트웨어 개발을 재편하고 있는지, 왜 전통적인 공급망 보안 통제가 더 이상 충분하지 않은지, 그리고 엔지니어링 리더들이 회복 탄력성 있는 AI 코드 거버넌스를 구축하기 위해 무엇을 해야 하는지를 조사합니다.

보고서 전반에 걸쳐, 우리는 The Code Registry와 같은 조직들이 기존의 의존성 분석을 넘어 AI 생성 소프트웨어, 기술 부채 (technical debt), 소프트웨어 출처 (software provenance), 그리고 경영진을 위한 소프트웨어 위험 보고를 포함하도록 코드 인텔리전스 (code intelligence)를 어떻게 확장하고 있는지도 살펴봅니다.

주요 연구 결과 (Key Research Findings)

1. AI 생성 코드(AI-generated code)는 단순한 개발자 생산성 도구를 넘어 기업의 소프트웨어 공급망(Software Supply Chain)의 일부가 되었습니다.
2. 전통적인 소프트웨어 자재 명세서(SBOM, Software Bill of Materials) 프로그램은 모델이 생성한 소스 코드를 완전히 포착하지 못하며, 이로 인해 출처(provenance)의 공백이 발생합니다.
3. 기업의 가장 큰 리스크는 잘못된 코드 생성 그 자체가 아니라, 생성된 코드가 어디에서 유래했는지, 그리고 어떻게 거버넌스(governance)를 적용해야 하는지 설명할 수 없다는 점입니다.
4. 보안 취약점은 직접 복사된 코드보다는 AI가 생성한 구현 패턴(implementation patterns)에서 점점 더 많이 발생하고 있습니다.
5. 거버넌스 없이 AI 코딩을 도입하는 조직은 이전 세대의 소프트웨어보다 더 빠르게 장기적인 기술 부채(technical debt)를 쌓고 있습니다.

소프트웨어 엔지니어링의 다음 진화 (The Next Evolution of Software Engineering)

거의 30년 동안 기업의 소프트웨어 개발은 비교적 예측 가능한 모델을 따랐습니다.

개발자가 시스템을 설계하고, 프레임워크가 구현을 가속화하며, 오픈 소스(open-source) 커뮤니티가 재사용 가능한 구성 요소를 공유하고, 보안 팀이 의존성(dependencies)을 스캔하며, 컴플라이언스(compliance) 팀이 릴리스를 승인했습니다. 소프트웨어 공급망은 복잡할지언정 가시성을 유지했습니다.

인공지능(Artificial intelligence)이 그 방정식을 바꾸어 놓았습니다.

오늘날의 개발 워크플로(workflow)는 인간 엔지니어와 대규모 언어 모델(LLMs, Large Language Models) 간의 협업과 점점 더 닮아가고 있습니다. 개발자는 기능의 아주 작은 부분만을 수동으로 작성하고, 구현, 테스트, 문서화, 설정 파일, 인프라 템플릿 및 최적화 제안을 위해 AI 코딩 도구에 의존할 수 있습니다.

그 결과는 단순히 더 빠른 소프트웨어 개발이 아니라, 완전히 다른 생산 모델입니다.

개발자들이 알려진 구성 요소로부터 소프트웨어를 조립하는 대신, 거대한 데이터셋으로 학습된 모델이 생성한 확률적 권장 사항(probabilistic recommendations)으로부터 소프트웨어를 조립하는 비중이 점점 늘어나고 있습니다.

이러한 차이점은 소프트웨어 거버넌스(software governance)에 심오한 영향을 미칩니다.

AI 코딩이 소프트웨어 개발을 변화시킨 이유

첫 번째 세대의 개발자 도구는 자동화에 집중했습니다. 컴파일러는 번역을 자동화하고, 통합 개발 환경 (IDE)은 편집을 자동화하며, 패키지 매니저 (package manager)는 의존성 설치를 자동화하고, 지속적 통합 (CI)은 빌드를 자동화했습니다. 그리고 인공지능 (AI)은 의사결정 과정 자체에 자동화를 도입했습니다.

단순히 명령을 실행하는 대신, 이제 AI 코딩 어시스턴트 (AI coding assistants)는 아키텍처 접근 방식을 권장하고, 구현 패턴을 선택하며, API를 생성하고, 전체 애플리케이션 구조를 제안합니다.

이는 오픈 소스 소프트웨어 (open-source software)의 등장 이후 소프트웨어 엔지니어링에서 가장 중요한 변화 중 하나를 나타냅니다.

오늘날 AI 코딩 도구는 다음과 같은 작업을 지원합니다:

• 프로덕션 코드 작성
• 레거시 애플리케이션 리팩터링 (Refactoring)
• 단위 및 통합 테스트
• 코드형 인프라 (Infrastructure as Code)
• 데이터베이스 스키마 생성
• API 생성
• 보안 조치 제안
• 문서 생성
• 언어 간 코드 변환

이러한 시스템은 반복적인 작업을 줄이면서 개발자의 생산성을 향상시키기 때문에 기업의 도입이 가속화되었습니다.

하지만 생산성과 거버넌스 (governance)는 동일한 속도로 발전하지 않았습니다.

많은 조직이 생산성 향상은 수치화할 수 있지만, 다음과 같은 기본적인 거버넌스 질문에는 답하지 못합니다:

• 어떤 프로덕션 서비스에 AI 생성 코드가 포함되어 있는가?
• 어떤 모델이 해당 코드를 생성했는가?
• 어떤 프롬프트 (prompts)가 사용되었는가?
• 생성된 코드가 독립적으로 검증되었는가?
• 생성된 코드가 라이선스 의무 (licensing obligations)를 발생시키는가?
• 프로덕션 코드베이스의 어느 정도가 AI의 도움을 받았는가?

이러한 미해결 질문들은 CTO, CISO, 감사인(auditors) 및 이사회의 점점 더 큰 우려 사항이 되고 있습니다.

AI 코딩을 둘러싼 논의는 주로 개발자 생산성에 집중되어 왔습니다. 이제 기업 리더들은 대화의 중심을 소프트웨어 책임성 (software accountability)으로 옮기기 시작했습니다. 성숙한 조직에서 생산성은 추적 가능성 (traceability)이 동반될 때에만 가치가 있습니다.

AI가 생성하는 숨겨진 소프트웨어 공급망 (Software Supply Chain)

전통적인 소프트웨어 공급망 (Software Supply Chain)은 상대적으로 관찰 가능합니다. 의존성 (dependencies)이 패키지 저장소 (package repositories)에서 기원하고, 컨테이너 이미지 (container images)는 레지스트리 (registries)에서 오며, 라이브러리 (libraries)에는 식별 가능한 유지 관리자 (maintainers)가 있고, 취약점 (vulnerabilities)은 대개 특정 버전으로 추적할 수 있기 때문입니다.

AI가 생성한 소프트웨어는 대개 보이지 않는 추가적인 계층을 도입합니다.

개발자들은 알려진 의존성을 소비하는 대신, 모델이 생성한 지식을 점점 더 많이 소비하고 있습니다.

해당 지식에는 다음과 같은 것들이 포함될 수 있습니다:

• 공개 저장소 (Public repositories)
• 오픈 소스 프로젝트 (Open-source projects)
• 문서 (Documentation)
• 프로그래밍 튜토리얼 (Programming tutorials)
• 프레임워크 예제 (Framework examples)
• API 사양 (API specifications)
• 과거의 구현 패턴 (Historical implementation patterns)
• 보안 관행 (Security practices)
• 레거시 코딩 컨벤션 (Legacy coding conventions)

기존의 의존성과 달리, 이러한 소스들은 생성 과정 중에 눈에 보이는 경우가 거의 없습니다.

결과적으로 기업들은 지적 계보 (intellectual lineage)를 항상 재구성할 수 없는 소프트웨어를 물려받게 됩니다.

이는 소프트웨어 출처 (software provenance)의 정의를 변화시킵니다.

조직들은 이제 "어떤 패키지가 이 코드를 도입했는가?"라고 묻는 대신, 다음과 같은 질문을 점점 더 많이 던지고 있습니다:

• 어떤 AI 모델이 이를 생성했는가?
• 어떤 모델 버전이 사용되었는가?
• 어떤 프롬프트 (prompt)가 해당 구현을 만들어냈는가?
• 어떤 엔지니어가 이를 승인했는가?
• 배포 전에 수정되었는가?
• 보안 코드 리뷰 (secure code review)를 거쳤는가?
• 생성된 결과물을 재현할 수 있는가?

이러한 질문들은 소프트웨어 공급망 분석의 범위를 패키지 인벤토리 (package inventories)를 넘어 AI 거버넌스 (AI governance)로 확장시킵니다.

부상하는 AI 공급망 (AI Supply Chain)

단순화된 AI 소프트웨어 공급망은 현재 다음과 같이 구성됩니다:

1. 개발자 (Developer)
2. ↓
3. 프롬프트 (Prompt)
4. ↓
5. AI 코딩 어시스턴트 (AI Coding Assistant)
6. ↓
7. 파운데이션 모델 (Foundation Model)
8. ↓
9. 생성된 소스 코드 (Generated Source Code)
10. ↓
11. 인간 검토 (Human Review)
12. ↓
13. 테스트 (Testing)
14. ↓
15. CI/CD 파이프라인 (CI/CD Pipeline)
16. ↓
17. 운영 환경 (Production)

모든 단계는 각기 고유한 거버넌스 요구 사항을 도입합니다.

기존의 패키지 관리와 달리, 각 단계는 결정론적 산출물 (deterministic artifacts)이 아닌 확률론적 출력물 (probabilistic outputs)을 포함합니다.

AI 코딩 어시스턴트(AI coding assistants)는 단순한 생산성 도구가 아니라 소프트웨어 공급업체(software suppliers)로 취급되어야 합니다.

조직들은 이미 인프라, 클라우드 서비스, 보안 제품을 제공하는 벤더들을 평가하고 있습니다. AI 코딩 플랫폼은 프로덕션 소프트웨어(production software)에 직접적인 영향을 미치기 때문에 이와 유사한 수준의 정밀한 검토(scrutiny)를 받아야 합니다.

AI 생성 코드가 새로운 소프트웨어 공급망 위험을 초래하는 이유

소프트웨어 산업은 오픈 소스 보안을 강화하기 위해 수년간 노력해 왔습니다. SBOM(Software Bill of Materials) 이니셔티브를 통해 의존성 가시성(dependency visibility)을 개선하고, SLSA(Supply-chain Levels for Software Artifacts)를 통해 빌드 무결성(build integrity)을 발전시키며, 패키지 서명(package signing)으로 변조를 방지하고, 지속적인 취약점 스캐닝(continuous vulnerability scanning)을 표준 관행으로 정착시켰습니다.

하지만 AI 생성 코드는 생성된 산출물(artifact) 자체가 미지의 구성 요소가 된다는 점에서 위험의 지형을 변화시킵니다.

이에 따라 몇 가지 새로운 위험 범주가 나타납니다.

1. 미지의 출처 (Unknown Provenance)

생성된 구현체(implementations)는 그 기원을 드러내지 않은 채 수많은 프로그래밍 패턴을 결합할 수 있습니다.

보안 팀은 이러한 패턴들이 어떻게 진화했는지 쉽게 판단할 수 없습니다.

2. 숨겨진 취약점 전파 (Hidden Vulnerability Propagation)

언어 모델(Language models)은 보안에 취약한 패턴을 포함하여 흔한 코딩 패턴을 빈번하게 재현합니다.

만약 보안에 취약한 구현 방식이 학습 과정에서 반복적으로 나타난다면, 생성된 출력물에서도 반복적으로 나타날 수 있습니다.

조직은 인간의 검토 프로세스가 탐지할 수 있는 속도보다 더 빠르게 보안에 취약한 코딩 관행을 확산시킬 위험이 있습니다.

3. 거버넌스 사각지대 (Governance Blind Spots)

많은 소프트웨어 거버넌스(software governance) 프로그램은 의존성(dependencies)은 목록화하지만, 생성된 소스 코드는 무시합니다.

AI 도입이 증가함에 따라 거버넌스의 가시성은 감소합니다.

아이러니하게도, 개발 속도가 가속화됨에 따라 조직은 자신들의 소프트웨어에 대해 오히려 확신을 갖지 못하게 됩니다.

4. 모델 드리프트 (Model Drift)

오늘 생성된 코드는 6개월 후에 동일한 프롬프트(prompts)를 실행했을 때와 실질적으로 다를 수 있으며, 이는 재현성(reproducibility) 문제를 야기합니다.

동일한 프롬프트가 더 이상 동일한 소프트웨어를 재현하지 못하게 되면, 프로덕션 장애(production incidents)를 조사하는 과정이 더욱 복잡해집니다.

5. 아키텍처 파편화 (Architecture Fragmentation)

AI 어시스턴트(AI assistants)는 로컬(locally) 수준에서 최적화하는 반면, 엔터프라이즈 아키텍트(enterprise architects)는 글로벌(globally) 수준에서 최적화합니다.

거버넌스(governance)가 없다면, AI가 생성한 구현체들은 점진적으로 아키텍처 표준에서 벗어나게 되며, 이는 장기적인 유지보수 비용을 증가시킵니다.

AI 생성 기술 부채(technical debt)는 전통적인 기술 부채와는 다르게 축적됩니다.

전통적인 부채는 대개 지름길을 택하는 과정에서 발생합니다.

AI 생성 부채는 개별적으로는 올바른 결정들이 모여 집합적으로 일관성 없는 아키텍처를 만들어낼 때 발생하는 경우가 많습니다.

엔터프라이즈 시나리오 (Enterprise Scenario)

글로벌 금융 기관 (Global Financial Institution)

한 다국적 은행이 4,000명의 개발자에게 AI 코딩 도구를 도입합니다.

12개월 이내에:

• 개발 속도(Development velocity)가 32% 증가합니다.
• 릴리스 빈도(Release frequency)가 거의 두 배로 늘어납니다.
• 보안 취약점 발견(Security findings) 건수는 안정적으로 유지됩니다.

경영진은 처음에 이 도입을 성공적이라고 판단합니다.

그러나 이후 내부 아키텍처 검토 과정에서 다음과 같은 사실이 발견됩니다:

• 유사한 서비스 전반에 걸쳐 세 가지의 서로 다른 인증(authentication) 구현 방식 존재
• 암호화(encryption)에 대한 다섯 가지의 서로 다른 접근 방식
• 여러 개의 일관성 없는 로깅(logging) 표준
• 상이한 API 에러 처리(error handling) 패턴

단일 취약점이 존재하는 것은 아닙니다.

대신, 조직은 수천 개의 AI 생성 제안을 통해 유입된 아키텍처 불일치(architectural inconsistency)를 축적하게 되었습니다.

장기적인 운영 비용이 단기적인 생산성 이득을 초과하게 됩니다.

SaaS 플랫폼 제공업체 (SaaS Platform Provider)

급성장 중인 한 SaaS 기업이 고객 대면 마이크로서비스(microservices)에 AI 생성 코드를 통합합니다.

몇 달 후, 한 엔터프라이즈 고객이 보안 소프트웨어 개발 관행을 뒷받침하는 문서를 요청합니다.

엔지니어링 팀은 다음을 제공할 수 있습니다:

• SBOM(Software Bill of Materials)
• 취약점 스캔(Vulnerability scans)
• 침투 테스트 보고서(Penetration testing reports)

하지만 다음 사항들은 설명할 수 없습니다:

• 어떤 코드가 AI에 의해 생성되었는지
• 어떤 모델(model)이 이를 생성했는지
• 어떤 검토 프로세스(review process)를 통해 검증되었는지
• 거버넌스 정책(governance policies)이 일관되게 적용되었는지

문제는 소프트웨어 품질이 아니라 소프트웨어 책임성(accountability)입니다.

기업들은 엔터프라이즈 조달(procurement) 과정에서 책임성을 점점 더 중요한 경쟁 차별화 요소로 인식하고 있습니다.

전통적 개발 방식 대 AI 지원 개발 방식

오픈 소스 위험 대 AI 생성 코드 위험