FIL 가설: 귀납적 편향 (Inductive Biases)이 커널 엔지니어링에 도움이 된다

계산량과 데이터에 따라 확장 가능한 범용적인 방법이 인간의 지식이 내장된 방법보다 궁극적으로 더 나은 성능을 보인다는 '쓰라린 교훈 (The Bitter Lesson)'은 대규모 언어 모델 (Large Language Models) 시대의 지배적인 패러다임이 되었습니다. 우리는 새로운 그리고 결정적인 확장 차원인 피드백 정보 루프 (Feedback Information Loop, FIL)의 지속 시간, 즉 시스템이 예측을 생성한 후 검증 신호를 받는 데 필요한 시간을 관찰함으로써 이 원칙을 재검토합니다. 인공지능 (AI)의 역사적 성공 사례 대부분은 거의 즉각적인 피드백(예: 게임 또는 분류 작업)의 혜택을 받았지만, 우리는 과학 및 물리 세계에서의 미래 AI 애플리케이션은 본질적으로 몇 시간에서 몇 주에 이르는 FIL을 포함하게 될 것이라고 주장합니다. 이러한 추세는 순수하게 데이터 중심적인 (data-driven) 방법들이 요구하는 충분한 검증 단계를 확보하는 것이 실질적으로 불가능해짐에 따라 근본적인 확장 한계를 제기합니다. 또한, 우리는 인간에게서 영감을 얻은 전문가 지식에 기반하여 순수하게 데이터 중심적인 접근 방식과는 직교하는 (orthogonal) 방법을 제안합니다. 이 방법은 귀납적 편향 (inductive biases)과 솔루션 공간을 제약하는 것에 의존합니다. 우리는 무시할 수 없는 FIL을 가진 도메인인 실제 GPU 프로그래밍 작업을 연구함으로써 이 가설과 방법의 초기 검증을 제공하며, 귀납적 편향을 통합하는 것이 데이터 중심적 접근 방식보다 우수한 성능을 낸다는 것을 입증합니다. 코드는 다음 주소에 공개되었습니다: https://github.com/ai-nikolai/robust_kernelbench