임베딩은 검색, 추천 시스템, 그리고 대부분의 현대 AI 기술의 기반이 되며, 보통는 어렵게 느껴지는 다이어그램으로 설명됩니다. 핵심 아이디어는 간단하며 직접 구축해 볼 가치가 있습니다. 임베딩이란 어떤 대상(단어, 문서, 상품 등)을 숫자 목록(벡터)으로 변환하는 과정이며, 이 덕분에 비슷한 의미를 가진 대상들은 그 숫자 공간에서 서로 가까운 위치에 놓이게 됩니다.

왜 대상을 벡터로 변환해야 하는가

컴퓨터는 의미 자체를 직접 비교할 수 없지만, 벡터는 비교할 수 있습니다. 만약

벡터 공간을 구축하고 코사인 유사도(cosine similarity)로 검색하면, 그 용어들이 풀립니다: '벡터 데이터베이스(vector database)'는 이러한 벡터들을 저장하고 빠른 최근접 이웃 검색(nearest-neighbor search)을 수행하는 곳이며, '시맨틱 검색(semantic search)'은 방금 하신 것과 정확히 같습니다. AI를 위한 검색(retrieval for AI)이란 문서를 임베딩하여 질문에 가장 가까운 것을 찾는 것입니다. 시스템을 신뢰하기보다 직접 이해하게 될 것입니다.

실제로 구축해보기

AI 및 딥러닝 트랙에서는 벡터 카운팅부터 학습된 표현(learned representations), 그리고 트랜스포머(transformers)를 구동하는 어텐션 메커니즘까지, 임베딩을 처음부터 구축해봅니다. 모든 과정은 브라우저에서 평가됩니다. 첫 번째 프로젝트는 무료입니다.

사물을 벡터로 변환하면, 현대 AI의 방대한 부분이 논리적으로 추론할 수 있는 기하학(geometry)이 됩니다.