지난번 「왜 AI 개발은 지옥인가?」에서는 현장 엔지니어가 눈물짓는 진흙탕 같은 실태를 전달해 드렸습니다. 이번에는 시점을 조금 바꾸어, 현재의 AI가 왜 급격히 똑똑해졌으며, 어떻게 세계를 제패했는지 그 기술적인 패러다임 시프트 (Paradigm Shift)의 이면을 파헤쳐 봅니다.

「AI의 진화가 너무 빨라서 따라갈 수 없다」, 「프롬프트 엔지니어링 (Prompt Engineering)은 결국 어떻게 된 거지?」라고 느끼고 있는 엔지니어 분들을 위해, 역사와 기술 (Attention)의 교차점에서 해설해 드립니다.

이 기사에서는 2016년의 특화형 AI부터 현재의 범용 추론 AI (ChatGPT 등)에 이르기까지의 기술적 브레이크스루 (Breakthrough)를 해설합니다.

대상 독자: AI의 내부 구조나 진화의 역사에 관심이 있는 엔지니어
다루는 기술 스코프: Transformer 아키텍처, Attention 메커니즘, Chain of Thought (CoT)
전제 지식: API나 JSON의 기본적인 개념을 이해하고 있을 것

ChatGPT가 폭발적으로 보급된 가장 큰 이유는 AI의 두뇌가 갑자기 좋아졌기 때문이 아니라, 만인이 사용할 수 있는 「채팅 화면」이라는 인터페이스 (Interface)를 채택했기 때문이다.

2016년, AlphaGo가 프로 기사를 이겼을 때는 「먼 세계의 기술」이었습니다.

사실 ChatGPT의 토대가 되는 「GPT-3」는 2020년 시점에 이미 완성되어 있었으며, 엄청난 문장 생성 능력을 갖추고 있었습니다. 하지만 당시 현장에는 다음과 같은 과제가 있었습니다.

「API를 통해서만 접할 수 있고, 파라미터 조정 (Temperature 등)이 너무 까다롭다」

「어떻게 명령해야 할지 몰라서, 그저 『까다로운 천재』가 되어 있다」

연구자나 일부 엔지니어만이 다룰 수 있었고, 비즈니스 현장에 도입하기 위해서는 「AI와 대화하기 위한 전용 앱」을 직접 제작해야 했기에 진입 장벽이 너무 높았습니다.

OpenAI가 2022년 말에 내린 아키텍처 및 프로덕트 관점에서의 의사결정입니다.

선택지 A: BtoB 대상의 API 제공에 특화한다 (보류)-
이유: 개발자만이 사용할 수 있기 때문에 사회로의 침투 속도가 느리다. AI의 「무엇이든 할 수 있는 (범용성)」이라는 강점이 일반층에게 전달되지 않는다.

채택안: 누구나 사용하기 익숙한 「채팅 화면」을 씌워 무료로 일반 공개한다-
이유: LINE이나 메신저와 같은 UI라면 프로그래밍 지식이 전혀 없는 사용자라도 직관적으로 AI를 조작할 수 있다. 결과적으로 공개 후 불과 5일 만에 100만 명의 사용자를 확보하는 역사적 쾌거로 이어졌다.

GPT-3 시대의 「개발자용 API 이용」과 ChatGPT 시대의 「엔드 유저 (End User)의 경험」의 차이를 의사 코드로 표현합니다.

// 【GPT-3 시대 (2020년)】
// 개발자가 세세한 파라미터를 설정하고 API를 호출해야 했다
const requestBody = {
...

// 【ChatGPT 시대 (2022년~)】
// 사용자는 브라우저의 텍스트 박스에 일상 언어를 입력할 뿐
사용자: 「Hello, how are you? 를 프랑스어로 바꿔줘」
...

🔰

초보자용 해설: 범용형 AI란?

AlphaGo 등의 「특화형 AI」가 바둑밖에 둘 줄 모르는 「초고성능 사시미 칼」이라면, ChatGPT 등의 「범용형 AI」는 무엇이든 썰 수 있는 「스위스 아미 나이프 (맥가이버 칼)」입니다. 용도를 한정하지 않고 사용자의 숙련도에 따라 요리 (번역)부터 공작 (프로그래밍)까지 해낼 수 있는 것이 특징입니다.

AI가 「장문의 문맥」을 이해하고 폭발적인 속도로 학습할 수 있게 된 것은, Google이 발표한 Transformer의 「Attention (주의/주목) 메커니즘」 덕분이다.

2017년 이전, 언어를 다루는 AI (RNN 등)의 최대 약점은 「기억력」과 「처리 속도」였습니다.

예를 들어, 긴 문장을 번역시키려고 하면 앞부분의 단어를 잊어버려 의미를 알 수 없는 출력을 내놓는 것이 현장의 큰 고민거리였습니다.

또한 문장을 「앞에서부터 순서대로 한 단어씩」 처리하는 구조였기 때문에 계산을 병렬화할 수 없었고, 인터넷상의 방대한 텍스트를 학습시키는 데 엄청난 시간이 걸렸습니다.

자연어 처리 (NLP)에서의 아키텍처 의사결정입니다.

선택지 A: RNN (Recurrent Neural Network)의 확장 (보류)-
이유: 순차적으로 처리하는 구조상 병렬 처리의 한계가 있으며, 장문에서의 기억 소실 문제도 근본적으로 해결할 수 없었다.

채택안: Transformer (Attention 메커니즘에 올인한 구조)의 채택-
이유: 「문장 전체를 한 번에 훑어보며, 단어 간의 관련도 (Attention)를 계산하는」 접근 방식. 이를 통해 ① 멀리 떨어진 단어의 문맥도 정확하게 파악할 수 있고, ② 순차적 처리가 불필요해짐에 따라 GPU를 통한 병렬 처리 (초고속 학습)가 가능해졌다.

Attention 메커니즘이 문맥 속에서 어떤 단어에 「주목(Attention)」하고 있는지를 가상의 JSON 데이터로 표현해 보겠습니다.

// 대상 문장: 「그 동물은 길을 건너지 않았다. 너무나 지쳐 있었기 때문이다.」
// AI가 후반부 문장을 처리할 때, 「누가 지쳐 있었는지 (생략된 주어)」를 추론하기 위한
// 「지쳐 있었다」라는 단어의 Attention (주목도) 내부 상태 예시
...

🔰

초보자를 위한 해설: Attention 메커니즘이란?

사람이 미스터리 소설을 읽을 때, 모든 글자를 균등하게 읽는 것이 아니라 「어라? 이 범인의 동기, 3페이지 전의 『그 대화』와 관련이 있네」라며 무의식적으로 연관 지어 (주목하며) 읽곤 하죠. 이 「멀리 떨어진 정보 사이의 관련성을 알아차리는 능력」을 AI에게 부여한 것이 Attention 메커니즘입니다.

최신 AI (추론 모델)는 내부에서 자율적으로 사고 프로세스를 돌리게 되었기 때문에, 인간 측에서 세세한 지시를 내리는 「프롬프트 엔지니어링 (Prompt Engineering)」의 중요성은 점차 옅어지고 있다.

초기 ChatGPT (2022~2023년)를 업무에 도입하려 했던 엔지니어들은 누구나 「프롬프트 지옥」을 맛보았습니다.

「당신은 전문 엔지니어입니다」, 「단계별로 생각하세요 (Step-by-step)」, 「출력은 반드시 JSON 형식으로...」와 같이 주문 같은 장문 (시스템 프롬프트)을 작성하지 않으면, AI가 게으름을 피우거나 엉뚱한 답변을 내놓는 문제가 있었습니다. 프롬프트의 버전 관리만으로 하루가 다 저무는 현장도 많았습니다.

정밀도 높은 답변을 얻기 위한 접근 방식의 변화 (AI 모델 측의 진화)입니다.

선택지 A: 인간 측이 복잡한 프롬프트 기술 (Few-shot 등)을 계속 구사한다 (보류)-
이유: 사용자의 숙련도에 너무 의존적이다. 또한, 프롬프트가 길어질수록 불필요한 노이즈가 섞여 오히려 정밀도가 떨어질 리스크가 있다.

채택안: 추론 모델 (Chain of Thought의 자동화) 도입 (OpenAI o1 모델 등)-
이유: AI 스스로가 답변을 출력하기 전에, 보이지 않는 백그라운드에서 「사용자의 의도는 무엇인가?」, 「먼저 A를 풀고, 그다음은 B구나」, 「아니, 이 접근 방식은 틀렸으니 다시 하자」와 같은 자문자답 (추론)을 수행한다. 인간은 심플한 지시를 던지는 것만으로 충분해진다.

구모델과 최신 추론 모델에서의 프롬프트 구현 차이를 살펴보겠습니다.

// 【구세대 모델: 치밀한 프롬프트가 필요했던 시대】
string oldPrompt = @"
당신은 숙련된 C# 엔지니어입니다.
...

🔰

초보자를 위한 해설: Chain of Thought (사고의 연쇄)란?

복잡한 산수 문장제를 풀 때, 머릿속으로만 한꺼번에 답을 내려고 하면 틀리기 쉽죠. 「풀이 과정」을 종이에 적어가며 한 단계씩 확인하며 진행하면 정확하게 풀 수 있게 됩니다. AI에게 이 「풀이 과정을 적어가며 생각하는」 프로세스를 시키는 것이 Chain of Thought입니다.

패러다임 시프트 (Paradigm Shift): 그 시대나 분야에서 당연하게 여겨졌던 인식이나 사상, 사회 전체의 가치관 등이 극적으로 변화하는 것. -
Transformer (트랜스포머): 2017년에 Google이 발표한 심층 학습 (Deep Learning) 모델. 현재 LLM (대규모 언어 모델)의 거의 모든 기초가 되는 아키텍처. -
Chain of Thought (CoT): AI에게 「순서대로 추론하라」고 촉구함으로써 논리적 사고력이나 계산 정밀도를 향상시키는 기법. 최근에는 이를 AI가 자율적으로 수행하는 모델이 등장하고 있다. -
추론 모델: 단순히 확률로 다음 단어를 예측하는 것뿐만 아니라, 답변을 생성하기 전에 내부에서 추론 (계획, 검증, 수정)을 위해 계산 리소스를 소비하도록 설계된 AI 모델.

어떠셨나요? AI가 급격히 발전한 이면에는 「Attention」이라는 기술적 돌파구와, UI 및 운용에 있어서의 수많은 아키텍처 의사결정이 있었습니다.

하지만 이 초월적으로 똑똑한 AI와 「긴 문장으로 대화하기」의 이면에서는, 인프라 엔지니어들이 비명을 지르고 있습니다. 다음 회차는 「AI는 매번 『기억상실』 상태가 된다? 긴 문장 채팅을 파탄 내지 않는 인프라 기술과 RAG」라는 제목으로, 투박한 시스템 운용의 이면을 파헤쳐 보겠습니다. 기대해 주세요!