karpathy/autoresearch

요약

Andrej Karpathy의 autoresearch 리포지토리는 자율적인 AI 에이전트 스웜이 모델 아키텍처, 옵티마이저, 하이퍼파라미터 등을 스스로 수정하며 연구를 수행하는 실험적 프레임워크를 소개합니다. 에이전트는 고정된 5분이라는 시간 예산 내에서 실험을 반복하며, val_bpb 지표를 통해 최적의 설정을 찾아내는 자율 연구 프로세스를 구현합니다.

핵심 포인트

• 에이전트가 train.py 파일을 직접 수정하며 모델 구조와 학습 루프를 최적화함
• 고정된 5분 시간 예산을 사용하여 컴퓨팅 자원 환경에 구애받지 않는 공정한 실험 비교 가능
• val_bpb(validation bits per byte)를 핵심 평가지표로 사용하여 아키텍처 변경을 공정하게 측정
• 인간은 program.md를 통해 에이전트의 지침을 관리하며 실험의 방향성을 제어함