BrLLM: Rio의 재조합 AI(Recombinant AI)가 전략적 병합을 통해 '자체 개발(Homegrown)'의 개념을 재정의하다

대규모 언어 모델 (LLM) 개발의 궤적은 단일 구조의 '처음부터 학습(train-from-scratch)' 방식에서 매우 모듈화된 오픈 소스 (open-source) 생태계로 결정적으로 전환되었습니다. 이러한 진화는 단순한 트렌드가 아니라 전략적 중심축의 이동이며, Rio de Janeiro에서 보고된 '자체 개발' LLM과 같은 이니셔티브가 그 예시입니다. 만약 이 모델이 시사하는 바와 같이 정교한 병합 (merging) 기술을 활용한다면, 이는 기존의 오픈 소스 기반 위에 구축된 자원 효율적이고 특화된 AI 솔루션을 향한 글로벌 움직임을 강조하는 것입니다. 이 접근 방식은 완전히 새로운 모델을 구축하려는 재정적, 계산적으로 엄청난 비용이 드는 야망보다 유용성과 현지화 (localization)를 우선시합니다.

파운데이션 AI (Foundational AI) 학습의 가혹한 경제학

제1원리로부터 최첨단 파운데이션 LLM을 개발하는 것은 천문학적인 비용이 드는 작업입니다. SemiAnalysis와 같은 기업의 산업 분석에 따르면, 컴퓨팅 비용만 해도 200만 달러에서 2,000만 달러에 달할 수 있으며, 엔지니어링 인재, 데이터 확보 및 에너지를 고려하면 일부 프로젝트는 1억 달러를 초과하기도 합니다. 예를 들어, Meta의 Llama 2 70B 모델을 학습시키는 데는 수천만 달러 상당의 GPU 시간이 소요된 것으로 보고되었습니다. 이러한 재정적 장벽은 '처음부터 학습'하려는 야망을 소수의 글로벌 빅테크 기업과 국가 주도 이니셔티브로 사실상 제한합니다.

이와 극명하게 대조적으로, 모델 병합 (model merging)은 진입 장벽을 획기적으로 낮춥니다. 수천 개의 하이엔드 GPU를 몇 주 또는 몇 달 동안 사용하는 대신, 병합은 종종 소비자급 GPU나 적당한 클라우드 인스턴스를 몇 시간 동안 사용하는 것만으로도 가능합니다. 이 과정은 주로 사전 학습된 가중치 (pre-trained weights)에 대한 산술 연산을 포함하며, 전체 학습에 내재된 광범위한 순전파 (forward pass) 및 역전파 (backward pass)를 피할 수 있습니다. 이를 통해 더 작은 규모의 팀, 학술 기관 및 지역 엔지티들이 훨씬 적은 비용으로 혁신할 수 있게 되어, 최첨단 AI 역량에 대한 접근을 민주화합니다.

기술적 깊이: 모델 재조합의 예술과 과학

현대 AI 아키텍처의 모듈성은 정교한 엔지니어링 학문인 구성형 AI(compositional AI)를 가능하게 했습니다. Meta의 Llama 시리즈, Mistral AI의 작지만 강력한 아키텍처, 또는 Google의 Gemma와 같은 오픈 소스 파운데이션 모델은 강력한 빌딩 블록 역할을 합니다. mergekit이나 lm-eval-harness와 같은 오픈 소스 도구가 용이하게 하는 모델 병합(model merging)과 같은 기술을 통해 개발자들은 여러 사전 훈련된 모델의 학습된 매개변수(가중치, weights)를 결합할 수 있습니다.

이는 단순한 연결(concatenation)이 아니라 모델 매개변수에 대한 정교한 산술 연산을 포함하는 미묘한 과정입니다. 주요 병합 기술은 다음과 같습니다:

• 선형 보간법 (Linear Interpolation, Slerp): 가중치에 가중 평균을 사용하여 두 모델의 가중치를 혼합하는 간단한 방법입니다. 예를 들어, 범용 지침 튜닝(instruction-tuned) 모델과 도메인 특화 모델을 병합하여 각자의 강점을 결합할 수 있습니다.
• 태스크 벡터 병합 (Task Vector Merging, Ties-Merging): '태스크 벡터'(미세 조정된 모델과 기본 모델 간의 차이점)를 식별하고 병합하여 여러 미세 조정된 역량을 조합할 수 있게 합니다.
• DARE (Drop And REscale): 병합 전에 중복되는 가중치를 가지치기(prune)하는 더 진보된 방법으로, 간섭을 줄이고 성능을 향상시킵니다.
• 가중치 평균화 (Weight Averaging, 예: mergekit에서): 다양한 기여도를 가진 여러 모델을 병합하여 각 모델이 원하는 특성을 물려받은 복합 모델을 생성할 수 있게 합니다.

실질적인 예로 Hugging Face에 있는 "Nous-Hermes-2-Mixtral-8x7B-DPO"와 같은 모델의 생성을 들 수 있습니다. 이 모델은 Mixtral 8x7B 아키텍처를 기반으로 활용하고 특정 DPO (Direct Preference Optimization, 직접 선호 최적화) 미세 조정 (fine-tunes)의 지시 이행 (instruction-following) 능력을 결합한 복합 병합 모델입니다. 그 결과, Mixtral의 광범위한 지식을 상속받으면서도 병합된 DPO 미세 조정 모델로부터 강화된 대화 및 추론 능력을 얻은 모델이 탄생하며, 이는 단순한 미세 조정 (fine-tuning)만으로는 불가능한 성과입니다. 이러한 '재조합 (recombinant)' 접근 방식은 엔지니어가 한 모델의 코딩 숙련도와 다른 모델의 창의적 글쓰기와 같은 특정 전문 지식을 추출하여 하나의 더 유능한 에이전트 (agent)로 결합할 수 있게 해줍니다.

지역화된 AI 유용성을 통한 디지털 주권

모델 병합의 경제적 논거는 디지털 주권 (digital sovereignty) 및 지역화 (localization)와 같은 시장 동력으로 직접 확장됩니다. Rio de Janeiro와 같은 지역에 있어 문화적, 언어적으로 관련성 있는 모델을 육성하는 것은 단순한 학술적 연습이 아니라 전략적 필수 과제입니다. 주로 영어와 글로벌 데이터셋으로 학습된 범용 LLM (Large Language Models)은 특정 언어의 미묘한 차이, 지역 방언, 문화적 맥락 및 법적 프레임워크에 직면했을 때 종종 한계를 드러냅니다.

브라질 포르투갈어의 복잡성을 고려해 봅시다:

• 언어적 특이성 (Linguistic Idiosyncrasies): 어휘를 넘어 특정 문법 구조, 관용구, 지역 방언(예: _paulista_와 구별되는 carioca 슬랭)을 포함합니다. 일반적인 모델은 문맥에 민감한 유머나 비격식적 언어 패턴을 처리하는 데 어려움을 겪을 수 있습니다.
• 문화적 뉘앙스 (Cultural Nuances): 현지 속담을 이해하는 것부터 정치적 풍자나 역사적 참조를 해석하는 것에 이르기까지, 진정으로 현지화된 모델은 사용자들과 더 깊고 효과적인 수준에서 교감할 수 있습니다.
• 도메인 특화 언어 (Domain-Specific Language): 법률 또는 의료 문맥에서 현지화된 용어의 정밀함은 매우 중요합니다. 브라질 포르투갈어에 최적화된 BrLLM은 브라질 사법 체계 내의 법률 문서를 분석하거나, 특정 공동체에 맞춘 공공 보건 권고안을 초안하고, 브라질 교육 과정 및 교수법과 완벽하게 일치하는 교육 콘텐츠를 생성하는 데 있어 탁월한 유용성을 제공할 수 있습니다. 예를 들어, 브라질 민법(Lei nº 10.406)에 대한 정확한 해석을 제공하거나, favela 환경에서의 뎅기열 예방을 위한 공공 보건 캠페인을 문맥화하는 것은 일반적인 모델이 복제할 수 없는 수준의 언어적, 문화적 몰입을 요구합니다. 이러한 현지화된 유용성은 더 효과적인 거버넌스, 더 나은 공공 서비스, 그리고 더 강력한 경제 경쟁력으로 직접 연결됩니다.

재조합 기술로서의 AI: 바이오테크 비유

LLM을 병합하는 관행은 생명공학의 변혁적인 패러다임인 재조합 DNA (recombinant DNA) 기술과 흥미로운 평행 이론을 형성합니다. 유전 공학자들이 원하는 형질을 가진 새로운 유전적 구조물(예: 인슐린을 생산하는 박테리아, 질병 저항성 작물)을 만들기 위해 서로 다른 유기체의 DNA 서열을 결합하는 것처럼, AI 개발자들은 이제 다양한 LLM의 학습된 가중치 (weights)와 아키텍처 구성 요소들을 '재조합'하고 있습니다.

이러한 지능적인 합성 (synthesis)은 연구자들이 매번 특정 작업을 위해 완전히 새로운 모델을 학습시켜야 하는 고된 과정을 건너뛸 수 있게 함으로써 발전을 가속화합니다. 대신, 그들은 베이스 모델 (base model)의 일반 지능과 미세 조정된 (fine-tuned) 모델의 전문 지식 또는 행동 패턴을 결합할 수 있습니다. 예를 들어, 과학적 추론에 능숙한 모델과 창의적 글쓰기에 강한 다른 모델을 병합하면 데이터 분석과 설득력 있는 보고서 생성이 모두 가능한 연구 보조원을 만들 수 있습니다. 이러한 전문화된 에이전트 (agents)의 신속한 생성은 엄청난 계산 자원 (computational resources)을 절약할 뿐만 아니라, '결합'과 '응용'이 핵심 혁신이 되는 오픈 소스 기반 위에 구축된 새로운 지적 재산 계층을 육성합니다.

'자체 개발 (Homegrown)'의 재정의: 기원보다 유용성

백지 상태에서 창조되었음을 의미하는 '자체 개발 (homegrown)'의 전통적인 정의는 첨단 기술 분야, 특히 AI 분야에서는 점점 더 구식화되고 있습니다. 만약 BrLLM이 모델 병합 (model merging)을 활용한다면, 그 '자체 개발'의 본질은 기초 파라미터 (foundational parameters)의 절대적인 기원이 아니라, 지역적 맥락 내에서의 _응용, 문화적 관련성, 그리고 문제 해결 유용성_에 의해 정의되어야 합니다.

Rio에서 Rio를 위해 설계되어 브라질의 특정 과제들을 해결하는 모델은, 그 베이스 아키텍처 (base architecture)가 멘로 파크 (Menlo Park)에서 시작되었든 파리 (Paris)에서 시작되었든 관계없이, 정신과 기능 면에서 부정할 수 없는 자체 개발 모델입니다. 브라질 포르투갈어의 언어적, 문화적 복잡성을 탐색하도록 특별히 미세 조정되고 설계된 BrLLM과 같은 병합 모델의 가치 제안은, 이전에는 접근할 수 없었던 유용성을 열어줍니다. 이는 저자원 언어 (low-resource languages)나 문화적으로 특화된 작업에서 종종 성능이 떨어지는 일반적인 글로벌 모델을 능가하며, 병합된 솔루션을 대상 환경에 진정으로 더 '네이티브 (native)'하게 만듭니다.

'AI 워싱 (AI Washing)'의 위험: 투명성과 귀속

Andrew Ng와 같은 저명한 AI 인물들은 재발명보다는 응용과 문제 해결을 강조하며, 기존 모델을 활용하는 것이 AI 개발에 있어 실용적인 접근 방식이라고 지속적으로 주장해 왔습니다. Ng의 "AI는 새로운 전기이다"라는 비유는 끊임없이 새로운 발전소를 건설하기보다는 기존 인프라
위에 (on top of) 유용한 애플리케이션을 구축하는 데 집중해야 함을 암시적으로 시사합니다.

하지만 모델 병합 (model merging) 관행은 특히 투명성과 귀속 (attribution) 측면에서 중대한 윤리적 고려 사항을 불러일으킵니다. 사용된 파운데이션 모델 (foundational models), 적용된 병합 기술, 그리고 이후의 미세 조정 (fine-tuning) 여부를 명확히 공개하는 것은 단순히 권장되는 관행이 아니라 윤리적 의무입니다. 이는 원작자에 대한 적절한 귀속을 보장하고, 지식 재산권 (intellectual property)의 경계를 명확히 하며, 지역적 이니셔티브가 개발 노력의 실제 범위와 기원에 대해 대중이나 민간 투자자를 의도치 않게 오도하는 "AI 워싱 (AI washing)" 시나리오를 방지합니다. 투명성이 없다면, 어떤 스타트업은 내부에서 개발한 "독자적인 (proprietary)" LLM이라고 주장할 수 있지만, 실제로는 공개되지 않은 병합 모델일 수 있으며, 이는 R&D 비용, 역량 및 의존성에 대해 투자자를 오도하게 됩니다. EU AI Act와 같은 규제 프레임워크는 고위험 AI 시스템에 대해 더 높은 투명성을 의무화하기 시작하고 있으며, 이러한 추세는 모델 병합 시 명확한 공개의 필요성을 더욱 강화할 것입니다.

단일체적 혁신의 환상

단일체적 혁신의 환상

대중적인 서사는 종종 순수한 지성과 독점적인 데이터로부터 혁명적인 AI를 마법처럼 불러일으키는 단 한 명의 천재나 단일 팀이라는 낭만화된 이미지에 집착합니다. 이러한 서사는 매력적이지만, 현대 AI 개발의 깊이 있게 상호 의존적이고 모듈화된 현실을 가립니다. BrLLM의 맥락에서 진정한 혁신은 그것이 '병합 (merge)'인지 여부가 아니라—그 자체로 이미 정교한 엔지니어링 성과임에도 불구하고—그러한 방법을 채택한 이면에 담긴 전략적 비전에 있습니다. 문제는 '자체 개발 (homegrown)'이 반드시 '제로(zero)에서 구축됨'을 의미해야 한다는, 만연하고도 종종 경제적으로 불가능하며 기술적으로 비효율적인 기대치입니다. 모든 새로운 소프트웨어 기업이 어셈블리 언어 (assembly language)로 운영체제를 직접 작성할 것을 요구하는 것과 유사한 이러한 관념은 발전을 저해하며, 개발도상국의 혁신가들에게 불공정하게 부담을 지웁니다.

AI의 미래: 국가 전략으로서의 재조합 엔지니어링 (Recombinant Engineering)

브라질, 그리고 실제로 AI 시대에 진정한 디지털 자율성을 추구하는 모든 국가에게 있어, 초점은 '무에서 유를 창조하는 (from-scratch)' 발명이라는 낭만적인 개념에서 _재조합 AI 엔지니어링 (recombinant AI engineering)_의 전략적 숙달로 전환되어야 합니다. 이제 진정한 가치는 누가 가장 큰 파운데이션 모델 (foundational model)을 학습시켰느냐가 아니라, 누가 투명한 방법론을 통해 특정 지역의 문제를 해결하기 위해 이러한 오픈 소스 (open-source) 구성 요소들을 가장 효과적으로 조립, 특화 및 배포할 수 있느냐에 달려 있습니다.

브라질이 AI 리더십으로 나아가는 길은 실리콘 밸리의 컴퓨팅 팜 (compute farms)을 복제하려고 시도함으로써가 아니라, 글로벌 오픈 소스 지적 공유 자산을 지능적으로 활용하고, 현지화된 유용성을 구축하며, 투명하고 윤리적인 AI 조립을 위한 글로벌 표준을 설정함으로써 닦일 것입니다. 이러한 접근 방식은 혁신을 촉진하고, 디지털 주권을 보장하며, 인구의 고유한 요구를 진정으로 충족하는 맞춤형 AI 솔루션을 창출하기 위한 강력한 프레임워크를 제공합니다.

원문은 The Stack Stories에 게시되었습니다.