Attention Algebra — 자연어를 스펙트로그램으로 변환하는 문법

요약(TL;DR): 우리는 텍스트를 작은 형식 언어(8개의 융(Jungian) 인지 터미널 + 15개의 연산자)로 끌어올리고, 표현을 다목적 역학(multi-objective dynamics)의 수학적 스케줄로 매핑하며, 그 결과를 시간-주파수 스펙트로그램(time–frequency spectrogram)으로 렌더링하는 프로토타입 번역기를 구축했습니다. 이는 스펙트럼상의 소리를 읽는 방식과 동일하게 언어의 내부 구조를 읽는 방식입니다. 여기서 대수적 피연산자(algebraic operands)에 계수(coefficients)를 부여하는 가중 요인(ponderating factors)은 반복과 상대적 가중치입니다. 코드 + 라이브 데모: https://github.com/iblameandrew/attention-algebra

모든 발화는 고차원 상태(high-dimensional state)를 1D 토큰 문자열로 투영한 손실 압축(lossy projection)입니다. 즉, 똑같은 것을 말하는 데는 아주 많은 방법이 있습니다. Attention Algebra는 이 과정의 역변환(inverse lift)을 시도합니다. 즉, 언어를 타입이 지정된 대수적 표현(typed algebraic expressions)으로 파싱하고, 해당 표현을 역학(dynamics)으로 컴파일하며, 그 결과를 시각화하는 것입니다.

이것이 흥미로운 이유는 모델이 단순히 무엇을 말하고 있는지가 아니라, 모델이 근본적으로 무엇을 하고 있는지의 기초 단계에서 추론 체인(reasoning chain)을 진단할 수 있게 해주기 때문입니다. 따라서 언어는 순수하게 기술적(descriptive)이고 더 효과적인 공간으로 이동합니다. 이는 마치 NLP 라이브러리를 사용하여 에세이를 생성하기 위해 Python을 사용하는 것과 같습니다. 여기서 Attention Algebra는 단 하나의 마스터 레시피(master recipe)만으로 동일한 계열의 결과물을 얻을 수 있는 방법을 제공합니다. 마찬가지로, 이는 DNA 해독과 관련하여 의미가 있을 수 있습니다. 1차원 DNA 문자열이 전체 3D 고양이로 변하는 것처럼, 고양이의 마스터 레시피는 바로 그 DNA입니다. 여기서 우리가 해결하려는 질문은 다음과 같습니다: 텍스트에 대한 DNA의 상응물은 무엇인가?

우리는 그 답이 기능 카테고리로 그룹화된 원시 어텐션(raw attention)이라고 생각합니다.

이를 보조적인 메타 학습 데이터(auxiliary meta training data)로 사용하면 추론 체인의 경제성을 개선할 수 있습니다. 예를 들어, 이 기술을 모델 학습에 사용한다면 2만 개의 추론 토큰(reasoning tokens)이 필요한 수학 올림피아드 문제를 4천 개로 줄일 수 있습니다. 아직 개선해야 할 사항들이 있습니다. 가장 중요한 점은 이것이 생성형 AI(genai)에 의존하는 프로토타입일 뿐이라는 것입니다.

만약 우리가 지원을 받고 커뮤니티가 관심을 보인다면, 이를 적절한 컴파일러 (compiler)를 갖춘 작은 라이브러리로 발전시킬 수 있을 것입니다. 또한 우리는 이것을 메타 태깅 (meta tagging) 메커니즘으로 사용하여, 아주 작은 모델들이 먼저 이 메타 언어 (meta-language)로 추론하게 한 뒤, 그 결과를 자연어 (natural language)로 말하게 함으로써 모델들이 초효율적인 용어로 사고하도록 만들고 싶습니다.

만약 이것이 흥미로우시다면, GitHub에서 이 연구 이니셔티브 (research initiative)를 자유롭게 지원해 주세요.

좋은 하루 되세요.
제출자: /u/causality-ai
[링크] [댓글]