Day 11: 임베딩과 벡터 표현 — 기계가 의미를 매핑하는 방법

AI가 회사 데이터를 활용하도록 하려면, 먼저 그 데이터를 기계가 측정할 수 있는 형태로 변환해야 합니다. 단어는 측정할 수 없습니다. 숫자만이 가능합니다. 이 둘을 연결하는 다리가 바로 **임베딩(embedding)**입니다.

쉽게 설명하자면: 회사에 있는 모든 문장에 핀이 박힌 거대한 지도를 상상해 보세요. 같은 주제에 대한 문장들은 서로 가깝게 꽂히고, 관련 없는 문장들은 멀리 떨어져 있습니다. 임베딩은 그 핀의 좌표입니다.

다이어그램: 임베딩 모델은 텍스트 조각을 숫자 목록(dense vector)으로 매핑합니다. 네트워크 지연 시간(network latency)과 패킷 손실(packet drop)처럼 비슷한 내용에 대한 텍스트는 비슷한 숫자를 얻게 됩니다. 실제 임베딩은 수백 또는 수천 개의 값을 가지며, 여기에 표시된 것은 예시입니다. 애니메이션 버전 보기.

1. 수학적 지도

**임베딩 모델(embedding model)**은 텍스트 조각을 읽고 **밀집 벡터(dense vector)**를 출력합니다. 이는 보통 768개 또는 1,536개의 숫자 목록입니다. 이 숫자를 직접 읽을 필요는 없습니다. 중요한 것은 그들 간의 관계입니다. 이 숫자들은 의미가 비슷한 텍스트가 비슷한 목록을 얻도록 생성됩니다.

2. 의미적 근접성

비슷한 의미는 비슷한 숫자를 가지기 때문에, 이를 플롯(plot)하면 서로 군집화됩니다. '네트워크 지연 시간'과 '패킷 손실'에 대한 벡터는 가깝게 위치합니다. 반면, '재무 예측(financial forecast)'에 대한 벡터는 이 둘로부터 멀리 떨어져 있습니다. 사용자가 입력하는 질문 역시 벡터가 되며, 답변이 되는 텍스트 옆에 놓입니다.

다이어그램: 임베딩은 의미를 거리로 하는 지도 위에 텍스트들을 배치합니다. 네트워크 관련 용어들은 한 곳에 군집화되고, 재무 관련 용어들은 다른 곳에 군집화되며, 질문은 답변하는 텍스트 근처에 위치하게 됩니다. 이 지도는 수백 차원 공간의 평면적이고 예시적인 보기입니다. 애니메이션 버전 보기.

3. 거리의 힘

모든 문서가 벡터로 변환되면, 적절한 문서를 찾는 것은 산술적인 과정이 됩니다. 일반적인 측정 기준은 **코사인 유사도(cosine similarity)**이며, 이는 두 벡터의 '방향'을 비교합니다. 1에 가까운 점수는 두 벡터가 같은 방향을 가리킨다는 의미이므로, 해당 텍스트들이 매우 비슷한 의미를 가진다는 뜻입니다. 0에 가까운 점수는 관련성이 없음을 의미합니다.

다이어그램: 코사인 유사도는 두 벡터 사이의 각도를 측정합니다. 같은 방향을 가리키는 벡터는 1에 가깝게 점수를 얻어 유사한 의미임을 나타내며, 관련 없는 벡터는 0에 가깝게 점수를 얻습니다. 표시된 점수는 예시적인 네 개의 숫자 벡터로 계산되었습니다. 애니메이션 버전 보기

이것이 임베딩 검색(embedding search)이 키워드 검색(keyword search)보다 우수한 이유입니다. "사이트가 왜 느린가요?"라고 질문하면, 해당 단어들을 포함하는 문서가 없다면 키워드 검색은 아무것도 찾지 못합니다. 하지만 임베딩 검색은 '웹 계층에서 높은 지연 시간'에 대한 문단을 찾아낼 수 있는데, 이는 의미(meaning)가 가깝기 때문입니다.

다이어그램: 키워드 검색은 동일한 단어를 필요로 합니다. 임베딩 검색은 의미를 비교하므로, 단어가 다르더라도 느린 사이트에 대한 질문이 웹 계층의 높은 지연 시간에 대한 문단을 찾을 수 있습니다. 애니메이션 버전 보기

다음은 다이어그램에서 사용된 동일한 네 개의 숫자 예시 벡터를 사용하여 파이썬으로 구현한 산술적 과정입니다. 실제 임베딩 모델은 훨씬 더 긴 벡터를 반환하며, 이를 라이브러리나 API를 통해 호출해야 합니다.

import numpy as np

def cosine(a, b):
...

이 예시의 숫자들은 아이디어를 보여주기 위해 만들어진 것입니다. 실제 시스템에서는 모든 문서를 한 번 임베딩하여 벡터를 저장하고, 들어오는 새로운 질문과 각각 비교하게 됩니다.

다음 내용 (Coming Up Next)

Day 12: 벡터 데이터베이스(Vector databases): 기업 지식의 저장 및 검색.

#VectorEmbeddings #MachineLearning #NLP #DataEngineering #AIArchitecture

원래 게시된 곳: https://sureshpallapothu.in/blog/day-11-embeddings (이 포스트에는 애니메이션 다이어그램이 포함되어 있습니다.)