AutoRecLab: 실험을 설명하면 코드를 얻는다!

실험적 평가는 추천 시스템(Recommender Systems, RecSys) 연구의 핵심이지만, 실험 설계를 실행 가능한 코드로 변환하는 과정은 여전히 수동적이고 오류가 발생하기 쉬운 작업입니다. 우리는 자연어 프롬프트로부터 RecSys 실험을 자동화하는 Python 기반의 자율적인 RecSys 랩인 AutoRecLab을 소개합니다. 특정 연구 아이디어가 주어지면, AutoRecLab은 명시적인 실험 요구사항을 도출하고, 프로토타입을 구축 및 검증하며, 이를 요청된 전체 실험으로 반복적으로 확장합니다. 이 워크플로우는 문서 조회를 위한 검색 증강 생성(Retrieval-Augmented Generation, RAG), 정적 타입 검증(static type verification), 그리고 실행 기반 트리 탐색(execution-steered tree search)을 결합합니다. 저희 시연에서 AutoRecLab은 명시 피드백 대 암묵 피드백 변환 연구를 자율적으로 구현했습니다. 6가지 알고리즘과 3개 데이터셋에 걸친 기준선 비교에서, GPT-5.4-mini을 사용하여 실행당 평균 비용 약 $1로 총 9회 중 8회의 실행에 성공했습니다.