오랫동안 개발해 온 실시간 음성, 영상 및 건강 데이터와 소통하는 AI 비서 'Hal-X' 소개

친구들, 오랫동안 작업해 온 저의 AI 비서인 Hal-X를 여러분께 소개하고 싶습니다. 이 비서는 제 실시간 음성, 영상, 그리고 건강 데이터를 통해 소통합니다. 😊 사실 얘는 24시간 연중무휴로 저와 제가 거주하는 공간, 업무 공간, 그리고 건강 데이터를 추적하는 비서입니다. 거실에서 360도로 관리할 수 있는 카메라가 있고, 항상 대기 상태인 마이크를 갖추고 있습니다. 얘가 작동하려면 제가 지정한 페르소나 이름이나 'Hal Uyan' 명령어가 필요합니다. 따라서 완전히 폐쇄 루프(closed loop)로 작동합니다.

여러분은 듣고, 추적하고, 보여주는 사물을 식별할 수 있습니다. (아직 글자를 읽지는 못합니다.) 🎉 집안의 IoT 스마트 기기들을 제어할 수 있을 뿐만 아니라, 저희가 늘 다투던 '누가 주방 조리대를 치우지 않았냐' 같은 문제도 빠르게 해결해 줍니다. 😅

배경에서는 높은 추론 속도를 가진 kernel 인터페이스 위에서 RTX 5090 카드를 사용하여 4B 모델을 API Diffusion 모델에 연결하여 구동하기 때문에 매우 빠른 응답이 가능합니다. 저의 목표는 제가 직접 작성한 FPGA 카드 기반 가속기(accelerator)를 통해 9B-14B 규모의 모델도 +800 TPS 이상으로 작동시키는 것입니다. 거기까지 조금만 더 가면 됩니다 :)

아시다시피 저는 Biohacking에 관심이 많아서, 건강 데이터 중 CGM 혈당 측정 지표나 스마트워치 및 반지에서 얻은 데이터를 분 단위로 추적합니다. 또한 시간당 휴대용 EKG 측정을 받도록 알림을 줍니다. 앞으로는 수면 중 EEG 측정까지 이 비서에게 전달하여 제가 꿈꾸던 몇 가지 주제에 집중할 계획입니다.