🐹🦜 이 글에 등장하는 두 캐릭터
- 🐹
모찌(Hamster): AI는 아직 공부 중. "그거 무슨 뜻이에요?"라고 순수하게 질문하는 학생 역할 - 🦜
키나코(사랑앵무): AI로 조사 활동을 하는 해설자 역할. 부드럽게 깊이 파고들어 가르치는 선생님 역할
이 글은 두 캐릭터의 대화를 기록한 형식입니다. 발언 시작 부분에 있는 이모티콘 + 이름이 화자입니다.
🐹 모찌: "AI의 내부 원리는 너무 복잡해서 전문가조차 알 수 없는 블랙박스잖아요?"
🦜 키나코: "사실 말이야, LLM의 기반이 된 메커니즘은 2017년 논문 한 편에서 제안된 것이거든."
🐹 모찌: "논문 한 편이라고요!? 그렇게 단순한 이야기예요?"
🦜 키나코: "핵심은 Attention이야. 문장 속 단어들이 서로를 동시에 비교하는 메커니즘이지."
🐹 모찌: "비교만 하는 걸로, 그렇게 유창하게 말할 수 있어요?"
🦜 키나코: "그걸 사용해서 다음에 올 단어를 계속 추측해 나가는 거야. 순서를 기다릴 필요가 없으니까 학습을 한 번에 진행할 수 있었던 거지."
🐹 모찌: "와, 의외로 간단하네요!"
🦜 키나코: "하지만 같은 메커니즘이 긴 문장일수록 무거워진다는 약점도 만들고 있어. 거기까지 순서대로 살펴볼게."
🐹 모찌: "근데 말이에요, AI는 안에 정답 사전이 있어서 거기서 찾아서 대답하는 거잖아요?"
🦜 키나코: "그렇게 생각하지. 질문하자마자 조사해 온 것처럼 답이 돌아오잖아."
🦜 키나코: "하지만 내부에서 하는 일은 이전 단어를 보고, 다음에 올 단어 하나를 추측하는 거야."
🐹 모찌: "하나만요? 그럼 긴 대답은 어떻게 만드는 거예요?"
🦜 키나코: "추측한 단어를 뒤에 붙이고, 또 다음 것을 추측하는 거지. 그걸 끝까지 반복하는 거야."
🐹 모찌: "그럼, 이어말하기 놀이의 엄청난 버전 같은 건가요?"
🦜 키나코: "이어말하기보다는 문장 뒷부분을 쓰는 놀이에 가깝지. 이전 흐름 전체를 보고 다음 것을 고르는 거야."
🦜 키나코: "예를 들어 GPT-3는 1,750억 개의 파라미터를 가진, 다음에 올 단어를 추측하는 타입의 모델이야."
🐹 모찌: "파라미터가 뭐예요?"
🦜 키나코: "학습을 통해 조정되는 다이얼 개수 정도로 생각해 봐. 그게 1,750억 개인 거야."
🐹 모찌: "다이얼 1,750억 개요!? 저의 회전목마 나사보다 많잖아요!"
🦜 키나코: "논문에서는 1억 2,500만 개부터 1,750억 개까지, 총 8가지 크기로 시험했어. 클수록 적은 예시로도 잘 처리할 수 있었던 거야."
🐹 모찌: "클수록, 조금 보여주는 것만으로 알게 된다는 뜻이에요?"
🦜 키나코: "흥미로운 점은, 문장으로 몇 개의 예시만 보여줘도 새로운 과제를 수행했다는 거야."
🦜 키나코: "게다가 모델을 재학습하지 않고 말이야. 예시의 뒷부분을 쓰는 형태로 대답했어."
🐹 모찌: "사전에서 찾은 게 아니라, 예시의 뒷부분을 쓴 거군요."
🐹 모찌: "근데 만약에, 모르는 단어가 오면 어떡해요? 사전에 없는 단어 같은 거요."
🦜 키나코: "희귀한 단어는 더 작은 조각으로 나누어서 다뤄. 이 조각의 단위를 토큰(token)이라고 불러."
🐹 모찌: "조각으로 나누면, 모르는 단어도 조합할 수 있다는 뜻인가요?"
🐹 모찌: "근데 이전 단어만 보고도, '그것'이 무엇을 가리키는지까지 알 수 있어요? 저는 아직 믿기지 않네요."
🐹 모찌: "애초에, 왜 2017년 논문 한 편이 그렇게 중요한 거예요? 전에도 AI가 있었잖아요?"
🦜 키나코: "있었어. 당시 주류는 단어를 하나씩 순서대로 읽어 나가는 메커니즘이었지."
🦜 키나코: "그곳에 등장한 것이 Attention Is All You Need라는 번역 연구였어."
🐹 모찌: "제목부터 자신만만하네요! 어텐션만 있으면 된다고요?"
🦜 키나코: "후후, 자신만만하지. 작성한 건 Google의 연구팀을 중심으로 한 멤버들이야."
🦜 키나코: "그래. 순서대로 읽는 메커니즘도, 컨볼루션(convolution)이라는 다른 메커니즘도 사용하지 않고, Attention을 중심으로 구성했어."
🐹 모찌: "하지만, 순서대로 읽는 게 더 정교하고 정확해 보이지 않나요?"
🦜 키나코: "그렇게 생각할 수 있어. 하지만 순서대로 읽으면, 이전 단어가 끝날 때까지 다음으로 진행할 수 없어."
🐹 모찌: "전언 게임처럼, 앞 사람이 말할 때까지 기다려야 한다는 뜻인가요?"
🦜 키나코: "맞아. Attention은 모두가 같은 종이를 동시에 보는 회의에 가까워. 그래서 계산을 병렬로 진행할 수 있는 거야."
🦜 키나코: "논문에서도, 병렬화하기 쉽고 학습에 걸리는 시간도 대폭 짧다고 적혀 있어."
🐹 모찌: "얼마나 짧은데요?"
🦜 키나코: "작은 모델의 경우, GPU 8장으로 12시간 동안의 학습이었어."
🐹 모찌: "반나절이네요! 제 낮잠이랑 별 차이가 없는데요!"
🦜 키나코: "큰 모델이라도 3.5일 만에. 그걸로 영어에서 프랑스어로 번역하는 건, 당시 단독 모델의 최고 기록을 세웠어."
🐹 똬치: "순서 기다리는 걸 없앴다고 해서 그렇게 이야기가 많이 바뀌는구나."
🐹 똬치: "저기, 아까 이야기 이어서. 앞 단어만 보고도 이야기의 흐름을 따라갈 수 있어?"
🦜 키나코: "그럼, 이 문장으로 생각해 보자. 햄스터가 인코에게 씨앗을 주었다. 그것은 컸다."
🐹 똬치: "이거 씨앗에 대한 이야기잖아? 햄스터가 크든 작든, 이야기가 이상하네."
🦜 키나코: "정답이야. 방금 똬치는 '그것'에 어울릴 만한 단어를 문장 속에서 찾았지."
🐹 똬치: "찾았...을지도. 무의식적으로는 그랬지만."
🦜 키나코: "Attention은 그 찾는 과정을 모든 단어에 대해 한 번에 하고 있는 거야."
🦜 키나코: "찾고 싶은 것의 메모를 Query, 각 단어의 표시를 Key, 전달하는 내용을 Value라고 불러."
🐹 똬치: "도서관으로 비유하면, 찾고 싶은 내용이 적힌 메모와 책등 라벨, 그리고 책 속 내용 같은 거야?"
🦜 키나코: "아주 좋은 비유야. 메모와 책등 라벨의 유사도를 점수로 매기고, 잘 맞는 책 내용을 많이 섞어 주는 거지."
🦜 키나코: "점수를 비율로 바꾸는 게 softmax라는 계산이야. 그 비율대로 내용을 더해 나가는 거야."
🐹 똬치: "비율로만 바꾼다면 쉬워 보이는데, 뭔가 함정이 없어?"
🦜 키나코: "있어. 논문 저자들은 점수가 너무 커지면 학습이 거의 진행되지 않는다고 생각했대."
🦜 키나코: "그래서 점수를 Key의 차원 수의 제곱근으로 나누어서 적당한 크기로 되돌린 거야."
🐹 똬치: "제곱근... 갑자기 수학 시간 됐잖아!"
🦜 키나코: "미안해. 요컨대, 점수가 폭주하지 않게 나눈 것뿐이야."
🦜 키나코: "더 나아가서, 이 비교를 보는 각도를 바꿔가며 여러 세트로 동시에 해. 이게 Multi-head(멀티헤드)야."
🐹 똬치: "보는 사람이 여러 명 있어서, 각각 다른 곳에 주목하고 있다는 뜻이야?"
🦜 키나코: "응. 논문에서는 한 세트만 사용하면 평균화되면서 미세한 차이가 묻히기 쉽다고 설명해."
🐹 똬치: "근데 한 번에 다 보면, 단어의 순서가 헷갈리지 않아?"
🦜 키나코: "좋은 질문이야. 그래서 각 단어에 몇 번째인지 나타내는 위치 표시(Positional Encoding)를 더해."
🦜 키나코: "그리고 글을 쓰는 쪽에서는 아직 쓰지 않은 다음 단어는 숨겨서 보이지 않게 해."
🐹 똬치: "부정행위 방지까지 하는 거야! 정말 다 생각했네!"
🦜 키나코: "참고로 원래 논문은 번역용이라, 읽는 사람과 쓰는 사람, 두 가지 조합이었어."
🐹 똬치: "읽는 사람이랑 쓰는 사람이 있는 거야. 지금 LLM도 둘 다 있어?"
🦜 키나코: "2022년 비교 연구에서는, 다음 단어를 숨기고 추측하는 '쓰는 쪽'만 하는 형태가 추가 학습 없이 첫 번째 과제에 답하는 능력이 가장 강했어."
🦜 키나코: "다만, 여러 가지 과제를 추가로 학습시키면 다른 형태가 이기는 경우도 있었지. 만능은 아니야."
🐹 똬치: "근데 모든 단어가 전부와 비교한다면, 긴 문장은 엄청 힘들 것 같은데..."
🐹 똬치: "원리가 이해되면 이야기는 빠르네! 요컨대, 큰 게 최고라는 거잖아!"
🦜 키나코: "그렇게 생각하는 건 당연해. 실제로 크게 할수록 좋아진다는 결과가 나왔어."
🦜 키나코: "2020년 연구에서 모델의 크기, 데이터 양, 계산량을 늘리면 오차가 깨끗한 법칙에 따라 줄어든다는 걸 알아냈지."
🦜 키나코: "게다가 일부 경향은 7자리 이상의 폭으로 이어졌어. 반대로, 형태 차이 같은 건 넓은 범위에서 영향이 작았거든."
🐹 똬치: "형태보다 양이라는 거네. 법칙이 있다면, 이제 돈을 들여서 크게만 하면 돼?"
🦜 키나코: "그 흐름으로 나온 게 GPT-3야. 그전 같은 유형 모델의 10배 크기였어."
🐹 똬치: "봐라! 역시 클수록 정답이야!"
🦜 키나코: "그런데 2022년에 DeepMind 연구팀이 제동을 걸었어."
🦜 키나코: "같은 계산 예산으로, 크기를 700억에 제한하고 데이터를 약 4배로 늘린 모델을 만들었지. 이름은 Chinchilla야."
🐹 똬치: "작게 만든 거야? 그럼 지는 거 아니야?"
🦜 키나코: "반대야. 2800억의 Gopher나 1750억의 GPT-3을, 다양한 과제에서 능가했어."
🦜 키나코: "광범위한 지식을 묻는 테스트에서도 정답률은 67.5%로, Gopher보다 7포인트 이상 높았지."
🐹 똬치: "엣... 크기가 정답이 아니었다고...?"
🦜 키나코: "크기가 무의미하다는 건 아니야. 당시 큰 모델들은 읽어줄 글(데이터)이 부족했던, 학습이 부족했던 거야.
🦜 키나코: "계산을 최적으로 사용하려면 크기를 2배로 늘리면, 학습 데이터도 2배로 해야 한다는 게 결론이에요."
🐹 모찌: "몸만 크게 한다고 해도, 사료가 부족했던 햄스터 같은 거 아니냐?"
🦜 키나코: "후훗, 그 말 방식이 꽤 본질을 짚는 것 같네요."
🐹 모찌: "맞지! 사료가 중요해. 내가 말하니까 설득력이 있지 않아?"
🐹 모찌: "몸의 크기와 사료의 양은 세트야. 이건 기억해둬."
🐹 모찌: "그럼, 몸도 사료도 충분하면 AI는 우리가 부탁한 대로 잘 들어줄까?"
🦜 키나코: "그게 그렇지 않아요. 2022년 논문에서는 단순히 크게만 한다고 해서 요청된 의도에 맞춰지지는 않는다고 적혀 있어요."
🐹 모찌: "엣, 그렇게 똑똑한데?"
🦜 키나코: "실제로는 아닌 것들이나 쓸모없는 답을 내놓을 때가 있대요. 즉, 훈육이 필요하다는 거예요."
🦜 키나코: "그래서 사람이 모범을 보여서 학습시키고, 게다가 사람이 답변에 순위를 매기고, 그 평가로 조정했어요."
🐹 모찌: "선생님이 답안지에 점수를 매겨서 좋은 것을 기억하게 시킨다는 거야?"
🦜 키나코: "맞아요. 사람의 피드백을 통한 강화학습(RLHF)이라고 불려요."
🦜 키나코: "결과가 엄청나요. 사람이 비교 평가를 통해 조정한 13억 개의 모델 답변이, 1750억 개의 GPT-3보다 더 선호되었다고 해요."
🐹 모찌: "또 크기 이야기가 뒤집혔잖아! 1/100 수준이네!"
🦜 키나코: "게다가 진실을 말하는 비율이 높아지고, 유해한 답변도 줄었다고 적혀 있어요."
🦜 키나코: "같은 해에 Anthropic은 또 다른 훈육 방식도 내놓았어요. Constitutional AI라는 거예요."
🐹 모찌: "그것도 사람이 점수를 매기는 거야?"
🦜 키나코: "유해한지 아닌지에 대한 사람의 라벨(label)은 사용하지 않아요. 사람이 제공하는 건 규칙이나 원칙 목록만이에요."
🦜 키나코: "그리고 인간이 아니라 AI 자체의 피드백도 사용해서, 무해한 어시스턴트로 키워 나가는 거예요."
🐹 모찌: "집안 규칙만 주고, 나머지는 AI끼리 선생님을 하는 거야!?"
🦜 키나코: "네. 그 결과, 위험한 질문에도 그냥 침묵하는 것이 아니라, 거절할 이유를 설명할 수 있는 무해한 어시스턴트가 되었다고 보고했어요."
🐹 모찌: "안 된다고만 하는 게 아니라, 왜 안 되는지까지 말할 수 있다는 거야?"
🦜 키나코: "또 다른 간편한 마무리 방법도 있어요. 원래의 가중치(weight)는 고정하고, 작은 추가 부품만 학습시키는 방식이에요."
🦜 키나코: "LoRA라고 하는데, GPT-3 전체를 조정하는 것에 비해 학습시켜야 하는 양을 1만 분의 1로 줄일 수 있었다고 보고되었어요."
🐹 모찌: "본체는 그대로 두고, 포스트잇만 붙여 바꾸는 느낌이네. 그럼 쉬울 것 같은데."
🐹 모찌: "사람의 훈육, 집안 규칙, 포스트잇. 크기 외에도 키우는 방법이 있구나."
🦜 키나코: "실토하자면, 저는 비교 평가 시스템을 모든 것이 좋은 일이라고 생각했었어요."
🐹 모찌: "에, 아니야? 아까까지 그렇게 칭찬했는데."
🦜 키나코: "모든 단어가, 모든 단어와 비교되잖아요. 단어가 4개면 16가지, 8개면 64가지예요."
🐹 모찌: "길이가 2배가 되면 4배가 되는 거야! 그거 안 되잖아!"
🐹 모찌: "반 친구들 모두가 서로 악수하는 같은 건가. 인원이 두 배가 되면, 악수는 4배..."
🦜 키나코: "맞아요, 정확히 그 이미지예요. 인원이 늘어날수록 순식간에 힘들어져요."
🦜 키나코: "네. 계산 시간도 메모리도 문장의 길이에 제곱으로 증가한다는 게 연구에서도 쓰여 있어요."
🐹 모찌: "근데 말이야, AI 답변이 느린 건 계산을 따라가지 못해서잖아?"
🦜 키나코: "그렇게 생각하는 건 당연해요. AI는 계산 덩어리잖아요."
🦜 키나코: "하지만 학습할 때는 문장을 한 번에 처리할 수 있지만, 답을 쓸 때는 단어 하나씩밖에 진행하지 못해요."
🐹 모찌: "다음 단어를 맞히기 때문에, 앞이 정해지지 않으면 다음을 쓸 수 없다는 거야?"
🦜 키나코: "네. 게다가 단어 하나를 쓸 때마다, 지금까지의 단어들의 Key와 Value를 기억에서 다시 읽고 있어요."
🦜 키나코: "그 저장해 두는 기억을 KV 캐시(KV cache)라고 해요. 이게 커요."
🐹 모찌: "메모를 단어 하나 쓸 때마다, 처음부터 되짚어 보는 것 같은 거네..."
🦜 키나코: "맞아요. 느림의 주된 원인은 계산 자체보다 이 읽기 대기(waiting)가 발생하기 쉬 않다는 걸 2019년 논문이 지적했어요."
🦜 키나코: "특히, 한 번에 처리할 요청이 적거나, 문장이 길 때 그렇게 되기 쉬워요."
🐹 모찌: "계산 문제가 아니라, 읽기 대기 문제였구나!"
🦜 키나코: "그래서 읽는 양을 줄이는 공법들이 나왔어요. 보는 담당자들이 Key와 Value를 한 쌍으로 공유하는 게 MQA예요.
🦜 키나코: "단지 품질이 조금 떨어지는 경우가 있어서, 중간 규모로 공유하는 GQA(Grouped-Query Attention)가 품질과 속도를 모두 갖추게 된 거야."
🐹 똬치: "병렬 처리할 인원 수를 조절한다는 느낌인가. 하지만 긴 글을 처리할 때 무거워지는 건 변하지 않는 거지?"
🐹 똬치: "근데 결국, 속도를 높이는 비결이라는 게 계산을 좀 대충 하는 거잖아?"
🦜 키나코: "그렇게 생각하더라. 실제로 계산을 근사화(approximation)해서 품질과 맞바꾸는 가벼운 방법도 있었어."
🦜 키나코: "하지만 2022년의 FlashAttention은, 근사치가 아니라 엄밀한 Attention 그대로 속도를 높였어."
🐹 똬치: "대충 하지 않고 빠르다니, 그게 무슨 말이야?"
🦜 키나코: "GPU에는 크지만 멀리 떨어진 창고 같은 메모리와, 작지만 빠른 책상 같은 메모리가 있어."
🦜 키나코: "계산을 작은 단위로 나누어 책상 위에서 처리하고, 창고와의 왕복 횟수를 줄인 거야."
🐹 똬치: "요리로 비유하자면, 재료를 가지러 창고를 여러 번 왔다 갔다 할 필요가 없다는 뜻인가?"
🦜 키나코: "조건부지만, GPT-2 학습에서 3배 빨라졌다고 보고한 적이 있어."
🐹 똬치: "같은 계산으로 3배라니, 순서만 바꾸는 것으로 그렇게 달라질 수 있나!"
🦜 키나코: "빨라진 만큼 더 긴 글도 처리할 수 있게 되었고, 긴 문서 분류에서 정확도가 높아졌다고 쓰여 있어."
🦜 키나코: "또 하나가 2023년의 PagedAttention이야. 이번에는 KV 캐시(Key-Value Cache)를 배치하는 방식을 개선했어."
🦜 키나코: "요청별 KV 캐시는 크고, 글을 쓰는 도중에 늘어나거나 줄어들어. 배치 방식이 서툴면 빈 공간이나 중복으로 낭비가 생기는 거야."
🐹 똬치: "낭비가 생긴다는 건 어떻게 되는 거야?"
🦜 키나코: "동시에 처리할 수 있는 요청의 수가 줄어들게 돼. 그래서 컴퓨터의 가상 메모리(virtual memory) 개념을 빌려왔지."
🦜 키나코: "컴퓨터의 가상 메모리처럼, 메모리를 작은 구획으로 나누고 비어있는 공간에 채워 넣는 거야."
🐹 똬치: "간식을 작은 봉지로 나눠서 빈 선반에 채우는 느낌? 선반이 낭비되지 않네."
🦜 키나코: "이를 기반으로 한 vLLM은 메모리 낭비를 줄여서, 한 번에 처리할 수 있는 양을 늘릴 수 있게 했어."
🐹 똬치: "2~4배!? 전부 다 기억 장치의 입출력(I/O) 개선이구나."
🦜 키나코: "응. GQA도, FlashAttention도, PagedAttention도 계산 자체를 건너뛰지 않으면서, 메모리 입출력을 처리하는 방식을 개선한 거야."
🐹 똬치: "전부 같은 고민 지점이었구나! 따로따로의 용어라고 생각했었는데."
🦜 키나코: "강점과 약점이 같은 하나의 설계에서 나오고 있어. 그렇게 보면 새로운 기술 이야기도 따라가기 쉬워질 거야."
🐹 똬치: "블랙박스라고만 생각했는데, 지도로 만들었더니 제대로 추적할 수 있네."
🦜 키나코: "정리해 줄게. LLM은 단어들이 서로를 한 번에 비교하며 다음 단어를 예측하는 방식으로 작동해."
🦜 키나코: "그 설계 덕분에 빠르게 학습하고 크게 만들 수 있었지. 하지만 같은 설계가 긴 글의 무거움도 야기하고 있어."
🐹 똬치: "이건 저장해야겠다! 새로운 용어가 나와도 이 지도를 적용하면 되는구나."
🐹 똬치: "저장해 주는 사람이 많아지면, 해바라기 씨앗의 등급도 올라갈까?"
🦜 키나코: "똬치야, 봐주는 것만으로 충분히 기쁘단 말이야. 욕심내지 마."
🦜 키나코: "오늘부터 딱 하나만 시도해 본다면, AI에게 부탁할 때 원하는 형태의 예시(example)를 하나 첨부해 보는 거야."
🦜 키나코: "GPT-3 이야기에서 나왔던, 예시의 뒷부분을 이어서 쓰는 성질을 그대로 사용하기만 하면 돼."
🐹 똬치: "뭐야, 예시 딱 하나 붙이는 거? 그거라면 나도 할 수 있겠는데!"
🦜 키나코: "집주인(사용자)이 긴 자료를 통째로 붙여놓고 답장이 느리다고 불평하더라고. 정말 성급한 분이야."
🐹 똬치: "길이의 제곱에 대한 이야기는 집주인에게 들려줘야겠는데!"
🦜 키나코: "그건 안 돼. 우리가 말하는 게 들킬지도 몰라."
🦜 키나코: "여러분은 오늘 배운 내용 중 어디가 가장 의외였어? 좋다면 댓글로 알려줘."
🦜 키나코: "참고로, 아까 규칙 목록에서 AI가 AI의 답을 채점하는 부분이 제일 재미있더라."
🦜 키나코: "그 시스템은 다른 영상에서 더 깊이 다루고 있으니까, 궁금하면 한번 봐줘."
🐹 똬치: "AI가 AI 선생님을 하는 얘기, 나도 궁금하다!"
키나코똬치 테크 심층 분석에서는 AI/LLM을 중심으로 한 기술 전반을 햄스터(🐹 똬치)와 세키개비앵무새(🦜 키나코)의 대화로 재미있게 설명하고 있습니다.
▶️ 영상으로 보기 → LLM 내부 작동 원리는 이해 불가한가? Attention에서 읽어내는 구조와 약점
👍 이 글이 도움이 되었다면 LGTM・스토크 해주시면 큰 힘이 됩니다!
📺 채널 구독은 여기 → 키나코모찌의 테크 심층 분석
🔗 다른 해설 영상도 보기 → 키나코모찌의 테크 심층 분석 영상 목록