정보 과부하 시대에, '방대한 데이터에서 어떻게 고품질 시그널을 추출할 것인가'는 인간에게나 AI 모델에게나 공통된 가장 중요한 과제입니다. 전(前) Tesla/OpenAI 소속 Andrej Karpathy가 공개한 'HackerTube'와 파생 프로젝트인 'HackerBooks'는 Hacker News (HN) 커뮤니티의 맥락을 활용한 고도화된 노이즈 필터링 기법으로 주목받고 있습니다. 한편, 머신러닝 최전선에서는 Meta 등이 제안하는 JEPA(Joint-Embedding Predictive Architecture)를 사용하여 '다양한 데이터나 모델이 궁극적으로 공통의 표현 공간으로 수렴한다'는 플라톤적 표현 가설(Platonic Representation Hypothesis)의 증명과 개선에 관한 논문이 발표되었습니다. 본 기사에서는 이처럼 언뜻 달라 보이는 두 가지 트렌드가 공유하는 '노이즈 감소와 본질적인 표현 추출'이라는 관점에서 구체적인 구현 코드와 함께 설명합니다.
무엇이 발표되었는가
이번에 다루는 해외 기술 트렌드는 엔지니어들의 정보 수집 포털과 차세대 AI 아키텍처의 이론적 기반에 관한 발표입니다.
HackerTube / HackerBooks-
개요: Andrej Karpathy가 개발 및 공개한 'HackerTube'는 Hacker News(HN)의 과거 기록이나 댓글란에서 추천되거나 논의된 YouTube 영상만을 추출하여 재구성한 비디오 포털입니다. 여기에 영감을 받아, HN 내에서 평가가 높은 기술 서적을 수집하고 시각화하는 오픈소스 웹 서비스인 'HackerBooks'도 등장했습니다.
구조: 단순 키워드 검색이 아니라, HN의 업보트 수, 댓글에서의 언급 맥락, 게시자의 점수 등을 조합하여 플랫폼 측 알고리즘(논란성이나 클릭베이트를 우선시하는 추천)을 배제한 큐레이션을 실현하고 있습니다.
Proving and improving the Platonic Representation Hypothesis with JEPAs-
개요: ArXiv에 게재된 최신 논문(arXiv:2610.39302)에서는 '플라톤적 표현 가설(Platonic Representation Hypothesis)'이 JEPA 구조 내에서 어떻게 성립하는지 검증하고, 표현의 수렴 효율을 대폭 향상시키는 기법을 제안했습니다.
수치 및 성과: 기존의 자기 지도 학습(Contrastive Learning이나 Generative Model)과 비교했을 때, JEPA를 사용함으로써 잠재 공간의 붕괴(Collapse)를 방지하면서도 데이터 효율성을 약 30~40% 향상시켰으며, 이종 모달리티 간 상위 개념의 공유(공통 잠재 공간 형성)가 실증되었습니다.
왜 지금 이것이 중요한가
1. 어텐션 경제의 한계와 소셜 그래프의 재평가
기존 추천 엔진(YouTube나 X 등)은 사용자 체류 시간이나 참여도(노출 수, 클릭률) 최대화를 목표로 최적화되어 있습니다. 그 결과, 기술적으로 가치가 높은 영상이나 서적이 자극적인 콘텐츠에 묻히는 문제가 심각해지고 있습니다.
HackerTube/Books의 시도는 알고리즘이 아닌 '기술적으로 성숙한 커뮤니티의 필터'를 데이터 파이프라인의 일차 인덱스로 활용하는 접근 방식입니다. 이는 엔지니어 개인의 정보 수집 효율을 비약적으로 높일 뿐만 아니라, RAG(검색 확장 생성)에서의 데이터 전처리 파이프라인 설계 사상으로도 매우 시사하는 바가 큽니다.
2. 생성 모델에서 예측/표현 모델 (JEPA)로의 패러다임 전환
현재 주류인 LLM이나 이미지 생성 AI는 '픽셀 또는 토큰의 복원(Generative)'을 수행하지만, 여기에는 고주파 노이즈(사소한 배경이나 무의미한 단어 차이)까지 학습해버리는 비용이 존재합니다.
Yann LeCun 등이 제안하는 JEPA는 픽셀 레벨에서의 복원을 포기하고, 추상도가 높은 '잠재 공간(Latent Space)'에서 미래나 결손 부분을 예측합니다. 본 논문이 보여준 '플라톤적 표현 가설의 증명'은 모델의 규모나 입력 모달리티(텍스트, 이미지, 음성)가 다르더라도, 표현 공간을 고차원에서 올바르게 정규화(Regularization)한다면 세계 표현의 '진정한 구조(플라톤의 세계)'에 수렴함을 보여줍니다.
실제로 시도해 보기 (코드 예시)
여기서는 개념을 심층적으로 파고들기 위한 실습 코드를 두 가지 소개합니다.
준비 (셋업)
필요한 라이브러리를 설치합니다.
pip install requests torch torchvision numpy
코드 예시 1: Hacker News API를 활용한 시그널 추출 파이프라인
Hacker News의 Firebase API를 호출하여, 댓글 그룹으로부터 특정 미디어(도서나 동영상)의 추천 점수를 계산하는 간단한 큐레이션 엔진입니다.
import requests
import re
from collections import defaultdict
...
코드 예시 2: PyTorch를 이용한 JEPA (Joint-Embedding Predictive Architecture)의 잠재 표현 거리 최소화
두 가지 다른 입력(예: 이미지와 텍스트, 또는 확장이 다른 이미지)으로부터 인코더를 거쳐 잠재 표현을 추출하고, 잠재 공간 상에서 예측 손실을 계산하는 최소 구현입니다. 표현의 붕괴 (Collapse)를 방지하기 위해 표준화 손실을 포함했습니다.
import torch
import torch.nn as nn
import torch.nn.functional as F
...
프롬프트 예시
RAG나 기술 리서치 업무에서, 노이즈가 많은 웹페이지로부터 정보 밀도가 높은 지식만을 추출하기 위한 '고 SNR(Signal-to-Noise Ratio) 추출 프롬프트'입니다.
당신은 엄격한 기술 리뷰를 수행하는 시니어 시스템 아키텍트입니다.
제공된 텍스트에서, 기술적 실체가 없는 마케팅 용어('혁신적인', '놀라운' 등)를 완전히 배제하고, 다음 포맷으로 정보 추출을 진행해 주세요.
【입력 텍스트】
...
비교 및 활용 방안
기술 정보 접근 방식 및 AI 표현 학습 모델의 맥락에 따른 접근 방식 비교입니다.
| 관점 | 콘텐츠 큐레이션 (HackerTube/Books) | 생성형 접근 방식 (LLM / Pixel AutoEncoder) | 예측형 표현 학습 (JEPA) |
|---|
| 노이즈 처리 전략 | 소셜 컨텍스트와 인간 평가에 의한 사전 필터링 | 생성 시 모든 데이터(노이즈 포함)를 학습 및 복원 | 잠재 공간 (Latent Space)에서의 추상화를 통한 노이즈 무시 |
| 계산/처리 비용 | 낮음 (API 획득 및 인덱싱만 필요) | 매우 높음 (모든 토큰/픽셀의 디코딩이 필요) | 중~낮음 (고차원 공간의 예측만 필요) |
| 주요 용도 | 신뢰성 높은 일차 정보/학습 리소스 특정 | 문장 생성, 대화, 상세한 이미지 생성 | 멀티모달 통일 표현, 자율 에이전트의 세계 모델 |
| 실무에서의 활용처 | 사내 Wiki 정리, RAG 전처리, 기술 리서치 | 크리에이티브 제작, 프로그래밍 보조 | 이미지/음성/수치 데이터의 공통 임베딩, 이상 감지 |
도입 시 주의사항
- 데이터 소스의 커뮤니티 편향 (HackerTube 기법)
Hacker News와 같은 특정 커뮤니티에 의존한 필터링은 노이즈를 줄일 수 있는 반면, 실리콘 밸리 주도의 기술 스택이나 특정 사상에 치우칠 위험이 있습니다. 일본의 엔지니어링 현장(예: 고유의 보안 요건이나 레거시 마이그레이션)에 적용할 경우, Qiita나 Zenn, 하테나 북마크 등 국내 소스를 가중치에 추가하는 조정이 필요합니다.
- 잠재 표현 공간의 붕괴 (Collapse) 위험 (JEPA 기법)
JEPA 구현 시, 인코더가 모든 입력에 대해 상수 벡터를 출력하는 '표현의 붕괴(Collapse)'가 가장 빈번하게 발생하는 실패 패턴입니다. 이를 방지하기 위해서는 VICReg와 같은 분산/공분산 정규화 손실 도입이나, 타겟 인코더의 파라미터 업데이트에 EMA (Exponential Moving Average)를 채택하는 설계가 필수적입니다.
소셜 API(HN API 등)를 이용하여 실시간 큐레이션 파이프라인을 구축할 경우, 레이트 리밋 및 데이터 구조의 비동기성에 주의해야 합니다. 배치 처리를 통해 로컬 캐시(SQLite나 Vector DB)를 거쳐 처리하는 설계가 본 운영 환경의 베스트 프랙티스입니다.
요약
본 기사에서는 Andrej Karpathy의 HackerTube/Books에서 볼 수 있는 '소셜 컨텍스트를 활용한 노이즈 필터링'과, Meta의 논문에서 볼 수 있는 'JEPA에 의한 잠재 표현의 통합 및 플라톤 가설 증명'을 다루었습니다.
두 가지 모두 공통적으로 가지고 있는 설계 사상은 **“표면적인 불필요한 정보(노이즈/저주파 데이터)를 깎아내고, 고차원적 본질 표현(시그널)에 집중하는 것”**입니다.
다음으로 시도해 볼 것:
- 개인 또는 팀에서 이용하는 RAG의 데이터 소스에 커뮤니티 점수(좋아요 수나 참조 횟수) 기반의 임계값 필터(threshold filter)를 도입해 보는 것을 고려해 보세요.
- PyTorch 등에서 JEPA 코드를 구동하여, 생성 모델(VAE 또는 GAN)과의 잠재 공간 표현 차이를 확인해 보는 것도 좋습니다.
참고 링크
- HackerBooks
- HackerTube: HN이 추천하는 영상으로 만들어진 YouTube
- Proving and improving the Platonic Representation Hypothesis with JEPAs (arXiv)
💡
끝까지 읽어주셔서 감사합니다!
해외에서 화제가 되는 기술 정보나 유용한 오픈소스 툴을 정기적으로 선별하여 정리하고 있습니다.
조금이라도 참고가 되셨다면, LGTM(좋아요)이나 팔로우를 해주시면 큰 힘이 됩니다!
Discussion
