Mohamad Alsabbagh의 블로그에 처음 게시되었습니다.

AI 코딩 어시스턴트(AI coding assistants)는 알려진 작업물을 빠른 초안으로 압축하는 데 매우 뛰어납니다. 그 속도는 **서문 단계의 부스트 (preface boost)**입니다. 일상적인 구현이 거의 즉각적으로 이루어지기 때문입니다.

숨겨진 위험은 팀들이 모델의 첫 번째 그럴듯한 답변을 아키텍처(architecture)로 취급하기 시작한다는 점입니다. LLM(Large Language Models)은 역사적으로 흔한 패턴을 중심으로 학습되고 정렬(aligned)되어 있기 때문에, 엔지니어링 팀을 **생성적 단일 재배 (Generative Monoculture)**로 끌어들일 수 있습니다. 즉, 솔루션의 다양성이 줄어들고, 탐색 범위가 좁아지며, 눈앞에 놓인 시스템의 예외적인 제약 조건에 의해 형성되는 설계가 줄어들게 됩니다.

동일한 어시스턴트를 사용하는 세 명의 엔지니어에게 동일한 프롬프트(prompt)를 주면, 종종 동일한 형태의 결과물을 얻게 됩니다. 깔끔한 서비스 레이어(service layer), 익숙한 API 경계(API boundary), 관습적인 재시도 래퍼(retry wrapper), 그리고 머지(merge)하기에 충분히 깨끗해 보이는 코드와 같은 것들 말입니다. 그 답변은 유용합니다. 평범한 작업에 대해서는 심지어 정답일 수도 있습니다. 위험한 점은 평범한 작업이 비범한 제약 조건에 직면했을 때 기본 자세(default posture)가 되어버릴 때 발생합니다.

LLM(Large Language Models)은 중립적인 아키텍처 엔진이 아닙니다. 이들은 역사적인 작업물을 바탕으로 학습되고, 사람들이 보상하는 경향이 있는 답변을 향해 미세 조정(tuned)된 확률적 시스템(probabilistic systems)입니다. 잘 사용한다면 이들은 놀라운 가속기(accelerators)가 됩니다. 하지만 수동적으로 사용한다면 최적화의 역설(optimization paradox)을 초래합니다. 팀은 즉각적인 구현 속도를 얻는 대신, 실제 시스템에는 너무 평균적일 수 있는 합의된 기준점(consensus baseline)에 닻을 내리게 됩니다.

1. 기본값은 지역 최적점 (Local Optimum)이다

Wu, Black, 그리고 Chandrasekaran은 **생성적 단일 재배 (Generative Monoculture)**를 학습 데이터에서 사용 가능한 다양성에 비해 모델 출력의 다양성이 좁아지는 현상으로 정의합니다. 이것이 중요한 이유는 소프트웨어 아키텍처(software architecture)가 가장 흔한 답을 찾는 과정인 경우가 드물기 때문입니다. 아키텍처는 시스템의 정확한 장애 모드(failure modes), 지연 시간 범위(latency envelope), 팀 토폴로지(team topology), 규제 제약 조건(regulatory constraints), 그리고 운영 현실(operational reality)에 부합하는 답을 찾는 과정입니다.

모델의 기본값은 종종 지역 최적점(local optimum)입니다. 즉, 통계적으로 가능성이 높고, 구문적으로 다듬어져 있으며, 광범위하게 수용 가능한 솔루션입니다. 이는 스캐폴딩(scaffolding) 작업에는 매우 훌륭할 수 있습니다. 하지만 작업이 명백한 정답의 근처를 벗어나야 할 때는 위험해집니다.

2. 코드에서 단일 재배(Monoculture)가 나타나는 이유

코드는 관습(convention)을 향한 유난히 강력한 중력을 가지고 있습니다. 프레임워크의 관용구(idioms), Stack Overflow의 답변, 공개 리포지토리(public repositories), 문서 예제, 그리고 학습 벤치마크는 모두 인식 가능한 형태에 보상을 줍니다. 여기에 LLM 정렬(alignment)이 또 다른 압박 층을 추가합니다. 안전하고, 도움이 되며, 간결하고, 친숙해 보이는 응답이, 이상하지만 잠재적으로 필요한 설계를 탐색하는 응답보다 선호될 가능성이 더 높기 때문입니다.

모든 맥락에서 이것이 결함인 것은 아닙니다. 표준적인 CRUD 흐름, 테스트 스캐폴딩(test scaffolds), 마이그레이션(migrations), 그리고 기계적인 리팩터링(refactors)의 경우, 일반적인 경로가 정확히 당신이 원하는 것일 때가 많습니다. 문제는 팀이 예외 사항에 가치가 있는 문제들—고처리량 파이프라인(high-throughput pipelines), 적대적 입력 표면(adversarial input surfaces), 분산 조정(distributed coordination), 마이그레이션 안전성(migration safety), 개인정보 경계(privacy boundaries), 그리고 장애 복구(failure recovery)—에 대해서도 동일한 기본 동작을 사용할 때 시작됩니다.

3. 엔지니어링 실패 모드

이 실패 모드는 단순히 "나쁜 코드"가 아닙니다. 그것은 **조기 수렴(premature convergence)**입니다. 팀은 유창한 초안을 얻고, 그 안에 숨겨진 가정을 수용하며, 비용이 많이 드는 제약 조건들이 명시되기도 전에 문제 공간(problem space)에 대한 탐색을 멈춰버립니다. 그러면 코드 리뷰는 아키텍처적 선택(architectural selection) 대신 라인 단위의 정리 작업으로 전락하게 됩니다.

현대의 코드 모델들은 문제의 복잡성이 높아짐에 따라 여전히 어려움을 겪으며, 그들의 출력물은 표준적인 솔루션보다 더 짧으면서도 더 복잡할 수 있습니다. 실제 시스템에서 바로 그 지점들이 엣지 케이스(edge-case)에 대한 회복탄력성이 존재하는 곳입니다. 즉, 특이한 실행 경로, 어색한 API 동작, 동시 쓰기(concurrent writes), 부분적 장애(partial failure), 그리고 데모가 끝난 지 6개월 후에도 이해 가능하게 유지되어야 하는 코드와 같은 영역들입니다.

구체적인 예시: 캐시 레이어(The Cache Layer)

한 팀이 멀티 리전 읽기 API (multi-region read API)에 대한 캐시 레이어 (cache layer)를 요청합니다. 모델은 TTL, 재시도 (retries), 그리고 익숙한 캐시 사이드 패턴 (cache-aside pattern)이 포함된 깔끔한 Redis 래퍼 (wrapper)를 반환합니다. 이 초안은 로컬 환경에서는 훌륭하지만, 무효화 (invalidations)가 순서대로 도착하고, 복제 지연 (replica lag)이 무시할 만하며, 장애 도메인 (failure domains)이 공유되는 단일 리전 토폴로지 (single-region topology)를 가정하고 있습니다. 실제 운영 환경에서 드물게 발생하는 제약 사항은 장애 조치 (failover) 중의 교차 리전 일관성 (cross-region coherence)이므로, 더 나은 답변은 리전별 키 (regional keys), 명시적인 신선도 예산 (explicit staleness budgets), 또는 임계 경로 (critical path) 상의 공유 캐시 미사용일 수 있습니다.

핵심 원칙 (The Core Principle):
AI는 실행을 압축해야지, 엔지니어링적 안목 (engineering taste)을 외주화해서는 안 됩니다. 인간의 역할은 실제 제약 사항이 드러날 때까지 탐색 공간 (search space)을 충분히 열어두는 것입니다.

4. 탐색 (Search) vs. 지능 (Intelligence)

유용한 구분법은 **탐색 (search)**과 **지능 (intelligence)**의 차이입니다.

• **탐색 (Search)**은 사전 확률 (prior)을 활용합니다. 즉, 이전에 작동했던 패턴을 검색하고 재조합합니다.
• **지능 (Intelligence)**은 사후 확률 (posterior)에 따라 업데이트합니다. 즉, 현재 문제의 특이한 메커니즘이 정답을 바꾸도록 허용합니다.

AI 보조 엔지니어링은 팀이 고품질의 탐색을 완전한 지능으로 착각할 때 무너집니다.

의사결정 경로 (The Decision Path)

1. 입력 (Input): 프롬프트 (Prompt) + 코드베이스 컨텍스트 (Intent, 리포지토리 컨텍스트, 그리고 문제 정의).
2. 초안 (Draft): 통계적 사전 확률 (statistical prior)로부터 생성된 LLM 초안 (유창하고, 그럴듯하며, 익숙한 패턴에 기반함).

수동적 경로 (The Passive Path - 단일 재배의 결과):

• 첫 번째로 그럴듯한 아키텍처를 수용합니다.
• 제약 사항이 테스트되기도 전에 수렴합니다.
• 익숙하지 않은 문제에 대해 익숙한 솔루션을 배포합니다.

훈련된 경로 (The Disciplined Path - 선택된 아키텍처의 결과):

• 제약 사항을 명시적으로 명명합니다.
• 경쟁하는 설계안들을 생성합니다.
• 가정을 비판적으로 검토합니다.
• 테스트, 트레이스 (traces), 그리고 리뷰를 통해 검증합니다.

5. 안티-모노컬처 운영 모델 (Anti-Monoculture Operating Model)

목표는 AI 도구를 의도적으로 경로 지정하는 것입니다. 어시스턴트가 실행, 요약, 번역, 그리고 비판을 가속화하도록 하되, 아키텍처 선택은 명시적인 제약 사항 및 관찰 가능한 증거와 결합된 상태로 유지해야 합니다.

안티-모노컬처 툴킷 (Anti-Monoculture Toolkit)

1. 제약 사항 원장 (Constraint Ledger)
   아키텍처를 생성하기 전에, 타협할 수 없는 사항들을 먼저 작성하십시오: 지연 시간 범위 (latency envelope), 실패 모드 (failure modes), 규제 경계 (regulatory boundaries), 소유 모델 (ownership model), 데이터 민감도 (data sensitivity), 그리고 마이그레이션 안전성 (migration safety). 모델은 이러한 제약 사항들을 추론하는 것이 아니라, 이에 맞춰 최적화해야 합니다.

2. 변형 패스 (Variant Pass)
   중요한 작업의 경우, 단순히 코드 스타일이 아닌 아키텍처 패러다임이나 제약 사항의 우선순위가 서로 다른 세 가지 설계를 요청하십시오:

• 전통적/무상태 (Conventional/Stateless) (cache-aside + TTL)
• 신뢰성 우선/이벤트 기반 (Reliability-First/Event-Driven) (transactional outbox를 포함한 write-through)
• 초저지연/엣지 최적화 (Ultra-Low Latency/Edge-Optimized) (지역별 읽기 복제본 (regional read replicas))

3. 가설 레드팀 (Assumption Red Team)
   선호되는 설계에 대해 숨겨진 결합 (hidden coupling), 누락된 롤백 경로 (missing rollback paths), 동시성 위험 (concurrency hazards), 그리고 초안이 조용히 무시한 엣지 케이스 (edge cases)에 초점을 맞춘 적대적 비판 (adversarial critique)을 수행하십시오.

4. 증거 게이트 (Evidence Gate)
   비판을 증거로 전환하십시오: 테스트, 트레이스 (traces), 벤치마크 (benchmarks), 그리고 짧은 결정 기록 (decision record). 만약 설계가 증거를 생성할 수 없다면, 그것은 여전히 유창한 추측 (fluent guess)일 뿐입니다.

구현 가이드라인 (Guidelines for Implementation)

1. 생성과 선택을 분리하십시오: 모델을 사용하여 후보군을 생성하되, 선택은 명시적인 트레이드오프 (tradeoffs)를 포함하는 별도의 검토 단계로 만드십시오.
2. 발산 트리거 (divergence trigger)를 설정하십시오: 영향 범위가 작은 작업(UI 헬퍼 등)에 대해서는 "서문 부스트 (preface boost)"를 허용하되, 티어-1 서비스, 인증 (auth), 결제 (billing), 그리고 마이그레이션에 대해서는 더 엄격한 프로세스를 요구하십시오.
3. 의미 있는 변형을 요구하십시오: 옵션들이 단순히 구문 (syntax)만 다른 것이 아니라, 아키텍처 패러다임에 따라 달라지도록 보장하십시오.
4. 리스크가 정당화될 때는 여러 모델을 교차 활용하십시오: 서로 다른 모델은 서로 다른 사전 확률 (priors)을 가집니다. 모델 간 교차 검토 (cross-model review)를 통해 숨겨진 불일치를 드러낼 수 있습니다.
5. 토폴로지 (topology)의 소유권은 인간이 유지하십시오: AI가 보일러플레이트 (boilerplate)를 작성하게 하되, 경계 (boundaries), 상태 흐름 (state flow), 그리고 실패 정책 (failure policy)은 명시적인 인간의 통제하에 두십시오.

6. 거부선 (The Refusal Line)

저는 제약 조건 원장 (constraint ledger)과 거부된 대안 (rejected alternatives) 없이 티어-1 (tier-1) 서비스, 공유 상태 (shared state), 인증 경로 (auth paths), 결제 경로 (billing paths), 멀티 리전 동작 (multi-region behavior) 또는 마이그레이션 (migrations)을 위해 1차로 생성된 아키텍처를 수용하지 않을 것입니다.

서문에서 언급한 부스트 (boost)는 가역적인 작업 (reversible work)에 적용되어야 합니다. 영향 범위 (blast radius)에 상태 (state), 돈 (money), 신원 (identity) 또는 롤백 불확실성 (rollback uncertainty)이 포함되는 순간, 팀은 아키텍처 선택을 코드 생성 (code generation)과 분리하여 유지해야 합니다. AI는 옵션들을 초안할 수 있지만, 토폴로지 (topology), 실패 정책 (failure policy), 그리고 증거 게이트 (evidence gate)는 인간의 소유입니다.

참고 문헌 및 추가 읽기

• 대규모 언어 모델에서의 생성적 단일 재배 (Generative monoculture in large language models) (Wu, F., Black, E., & Chandrasekaran, V., 2024)

  

  [2407.02209] 대규모 언어 모델에서의 생성적 단일 재배 (Generative Monoculture in Large Language Models)

  우리는 대규모 언어 모델 (LLMs)에서 관찰되는 행동인 {\em 생성적 단일 재배 (generative monoculture)}를 소개합니다. 이는 주어진 작업에 대해 사용 가능한 학습 데이터와 비교했을 때 모델 출력의 다양성이 현저하게 좁아지는 특징을 가집니다. 예를 들어, 평판이 엇갈리는 책에 대해 오직 긍정적인 서평만을 생성하는 경우를 들 수 있습니다. 어떤 경우에는 생성적 단일 재배가 성능을 향상시키기도 하지만 (예: LLM이 더 자주 효율적인 코드를 생성함), 다른 경우에는 위험성이 심화되기도 합니다 (예: LLM이 다양한 의견 공유를 거부함). LLM이 교육 및 웹 검색과 같이 영향력이 큰 환경에서 점점 더 많이 사용됨에 따라, 다양한 사실과 관점이 시간이 지나도 보존될 수 있도록 LLM 출력의 다양성을 세심하게 유지하는 것이 필수적입니다. 우리는 서평 및 코드 생성 작업 분석을 통해 생성적 단일 재배의 만연함을 실험적으로 입증하였으며, 샘플링 (sampling) 또는 프롬프팅 (prompting) 전략을 변경하는 것과 같은 단순한 대응책만으로는 이러한 행동을 완화하기에 불충분하다는 것을 발견했습니다.

또한, 우리의 결과는 생성적 단일 재배 (generative monoculture)의 근본 원인이 LLM의 정렬 (alignment) 과정 내에 내재되어 있을 가능성이 높음을 시사하며, 이는 다양성을 보존하거나 촉진하는 미세 조정 (fine-tuning) 패러다임의 개발이 필요함을 나타냅니다.

![favicon](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Farxiv.org%2Fstatic%2Fbrowse%2F0.3.4%2Fimages%2Ficons%2Ffavicon-32x32.png) arxiv.org

• 대규모 언어 모델이 생성한 코드의 무엇이 문제인가? (Dou, S., et al., 2024/2025)

  

  [2407.06153] 대규모 언어 모델이 생성한 코드의 무엇이 문제인가? 광범위한 연구

  코드 생성 분야에서 LLM의 발전이 가속화됨에 따라 연구자들 사이에서 상당한 관심을 끌고 있습니다. LLM 기반의 코드 생성 능력을 향상시키기 위해, 현재의 노력은 주로 고품질 데이터셋을 수집하고 다양한 학습 기술을 활용하는 방향으로 집중되어 있습니다. 그러나 기존 방법론의 한계와 경계를 조사하는 포괄적인 연구는 눈에 띄게 부족한 실정입니다. 이러한 격차를 해소하기 위해, 우리는 세 가지 주요 폐쇄형 (closed-source) LLM과 여섯 가지 인기 있는 오픈 소스 (open-source) LLM의 성능을 세 가지 공통 벤치마크에서 평가하는 광범위한 실증적 연구를 수행했습니다. 생성된 코드의 길이, 순환 복잡도 (cyclomatic complexity) 및 API 개수를 평가한 우리의 조사 결과, 이러한 LLM들은 더 복잡한 문제에 대해 성공적인 코드를 생성하는 데 어려움을 겪고 있으며, 표준적인 솔루션과 비교했을 때 더 짧지만 더 복잡한 코드를 생성하는 경향이 있음을 발견했습니다. 또한, 우리는 세 가지 카테고리와 열 가지 하위 카테고리를 포함하는 잘못된 코드에 대한 버그 분류 체계 (taxonomy)를 개발하였으며, 일반적인 버그 유형의 근본 원인을 분석했습니다. 실제 프로젝트에서 LLM의 성능을 더 잘 이해하기 위해, 우리는 실제 환경의 벤치마크인 RWPB를 수동으로 구축했습니다. 우리는 RWPB의 버그를 분석하여 실제 시나리오와 기존 벤치마크 간의 버그 분포에 나타나는 뚜렷한 차이점을 강조했습니다.

마지막으로, 우리는 자기 비판 (self-critique)을 도입하는 새로운 훈련 불필요 (training-free) 반복 방법을 제안합니다. 이를 통해 LLM이 버그 유형과 컴파일러 피드백을 기반으로 생성된 코드를 비판하고 수정할 수 있도록 합니다. 우리의 포괄적이고 광범위한 연구는 LLM 기반 코드 생성의 현재 한계점과 생성된 코드의 정확도 및 품질을 향상시킬 수 있는 기회에 대한 통찰을 제공합니다.

![favicon](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Farxiv.org%2Fstatic%2Fbrowse%2F0.3.4%2Fimages%2Ficons%2Ffavicon-32x32.png) arxiv.org