학생들에게 벡터 임베딩 작동 방식을 가르치기 위해 만든 Wordle 스타일 단어 추측 게임 [P]

안녕하세요, r/MachineLearning에 글을 올립니다. 저는 Isaacus의 머신러닝 엔지니어인 Abdur-Rahman Butler입니다. 저는 Brendan Bycroft의 놀라운 인터랙티브 LLM 시각화 가이드(여기 참조 - https://bbycroft.net/llm)에서 영감을 받아, 벡터 임베딩의 A부터 Z까지를 안내하는 인터랙티브한 글을 작성했습니다. 제 작업 대부분은 인코더 모델에 관한 것이라, 임베딩에 대한 좋은 인터랙티브 자료가 얼마나 적은지 계속 느끼고 있었습니다. 존재하는 자료들은 주로 임베딩을 3D로 플롯하거나, 의미 검색(semantic search)이나 RAG 같은 좁은 응용 기술만을 설명하는 경향이 있습니다. 그래서 저는 사용자가 직접 가지고 놀면서 임베딩이 어떻게 작동하는지를 배울 수 있는 무언가를 만들고 싶었습니다. 이 글에는 벡터화(vectorisation), 코사인 유사도(cosine similarity), 의미 검색, 계층적 검색(hierarchical retrieval), 클러스터링(clustering), 제로샷 분류(zero-shot classification) 및 중복 제거(deduplication)의 개념을 탐색할 수 있는 인터랙티브 시각화가 포함되어 있습니다. 이 게시물의 핵심은 제가 'SemanticGuessr'라고 이름 붙인 게임입니다 (위 참조). 이 게임은 Wordle과 GeoGuessr에서 영감을 받았으며, 목표는 43,339개의 일반적인 영어 단어로 구성된 2D 지도 위에서 추측을 삼각 측량(triangulating)하여 무작위 타겟 단어를 둘러싸는 루프를 그리는 것입니다. 솔직히 말해서, 의미 공간이 우리의 직관적 의미와 완벽하게 일치하지 않기 때문에 처음에는 다소 어렵게 느껴질 수 있습니다. 하지만 익숙해지면 이 게임은 정말 중독성이 강합니다. 최근 저는 멜버른 대학교의 법학도들에게 이 게임을 시연할 기회를 가졌는데, 그들은 어떤 벡터 방정식을 던져 넣으며 어디에 떨어지는지 보느라 매우 즐거워했습니다. 시작하는 데 도움이 될 만한 재미있는 예시들: london - english + french running - land + water avg(breakfast, lunch, dinner) 0.4 * noodles + 0.6 * pasta 나중에 기술들을 따라가고 싶다면 일부 시각화와 함께 Python 스니펫도 포함했습니다. 이 게임은 웹페이지에서 정적으로 실행됩니다. 저는 임베딩 차원을 512로 줄이고 각 값을 4비트로 양자화(quantising)함으로써 이를 구현할 수 있었습니다.

이를 통해 전체 페이로드는 311MB에서 12.3MB로 줄었으며, 정밀도에는 약 6%의 미미한 영향만 주었습니다. 만들면서 정말 재미있었고, 여러분도 즐겁게 플레이하셨으면 좋겠습니다. 질문은 언제든지 환영하며, 충분한 관심이 있다면 제가 작업해 온 다른 인코더 기반 게임들을 위한 전용 게임 페이지를 마련할 수도 있습니다. 목표 단어와 선택한 경로를 기준으로 가장 높은 점수를 몇 점 받으셨는지 알려주세요 :) 플레이 링크: https://isaacus.com/blog/what-are-vector-embeddings /u/Neon0asis 제출 [링크] [댓글]