저는 여전히 예비 Raspberry Pi에 Amblyotube 리포지토리를 클론했던 밤을 기억합니다. 먼지 쌓인 복도를 저지연 시선 추적 연구실로 바꾸기를 바랐습니다. README에는 Meta의 Muse 모델과 결합하면 30ms 미만의 프레임-투-광자 지연 시간(frame-to-photon latency)이 보장된다고 되어 있었습니다. 이 Muse는 INT8로의 양자화 덕분에 온디바이스(on-device)에서 실행되는 경량 트랜스포머 모델입니다. 저는 오후 내내 저렴한 IR 카메라를 배선하고, camera-intrinsics JSON을 조정했으며, 터미널에 첫 히트맵이 나타나는 것을 지켜보았습니다. 처음에는 떨렸지만, Kalman 필터가 안정화되면서 점차 안정적이었습니다.
진정한 돌파구는 Muse 논문에서 소수샷 적응(few-shot adaptation)을 위해 제안된 대조 목적 함수(contrastive objective)로 기본 손실 함수를 교체했을 때 찾아왔습니다. 조카의 약시 치료를 위한 몇 번의 레이블링된 세션으로 훈련하자, 보정 오차는 2.4°에서 0.7°로 200 에포크(epochs)도 안 되는 시간에 감소했습니다. 모델 크기는 4 MB 미만으로 유지되어 Pi가 팬 없이 60 fps로 추론할 수 있었습니다.
저에게 가장 인상적이었던 것은 숫자가 아니었습니다. 화면 속 나비가 지연 없이 조카의 눈을 따라 움직였을 때, 조카가 웃었던 그 순간이었습니다. 그 순간은 지연 시간 예산표를 인간적인 이야기로 바꾸어 놓았습니다. 오픈소스는 저에게 발판(scaffolding)을 주었고, Muse는 두뇌를 주었으며, Amblyotube는 배관 설비(plumbing)를 제공했습니다. 이 세 가지가 합쳐져 연구 프로토타입을 살아있는 거실 치료 스테이션으로 탈바꿈시켰습니다.
만약 사이드 프로젝트가 실제 도움이 될 수 있을지 궁금했던 적이 있다면, 직접 부품들을 연결해 보세요. 몇 줄의 설정 파일(config)이 무엇을 열어줄 수 있는지에 놀랄 수도 있습니다. 코드는 GitHub에 있으며, 여러분의 풀 리퀘스트(pull request)를 기다리고 있습니다.