작은 LLM이 다음 단어를 선택하는 방식과 어텐션 메커니즘 시각화 도구 제작기

요약

작은 LLM(SmolLM2-135M)을 브라우저에서 구동하여 어텐션 메커니즘을 시각화하는 도구를 제작했습니다. 이 도구는 프롬프트 입력에 따라 모델이 토큰을 생성할 때마다 다음 후보와 확률, 그리고 현재 토큰과 이전 토큰 간의 어텐션 가중치를 링크로 보여줍니다.

핵심 포인트

• SmolLM2-135M 같은 소형 LLM을 웹 브라우저에서 구동 가능합니다.
• 토큰 생성 과정별 다음 후보와 확률, 어텐션 가중치 시각화가 가능합니다.
• '어텐션 싱크(attention sink)' 현상을 발견하고 분석하는 경험을 공유했습니다.