“딥러닝 (Deep learning)은 연금술 (alchemy)이다”라는 말은 AI 분야에서 가장 반복되는 비판일 수 있습니다. 하지만 이 비판은 핵심을 놓치고 있습니다.

연금술은 결과를 만들어내는 데 실패했습니다. 반면, 딥러닝은 변혁적인 기술들을 만들어냈습니다. 또한 의학(medicine)과 같은 분야들도 연금술이라 간주되지 않으면서도 오직 부분적으로만 이해되고 있는 상태입니다.

따라서 AI를 “연금술”이라고 부르는 것은 문제의 일부를 포착하는 것이지만, 전부는 아닙니다. 현대의 AI는 단순히 규율 없는 실험이 아닙니다. 그 안에는 상당한 수준의 엄밀함 (rigor)이 포함되어 있습니다. 하지만 우리는 여전히 다음과 같은 기본적인 질문에 답하는 데 어려움을 겪고 있습니다:

• 모델이 이해 (understand)하는가?
• 모델은 왜 일반화 (generalize)하는가?
• 모델은 언제 실패할 것인가?

더 깊은 문제는 엄밀함 (rigor)이 서로 다른 형태를 띠고 있으며, AI에서는 그 형태들이 불균형하게 발전해 있다는 점입니다.

저의 새로운 논문은 세 가지를 구분합니다:

• 개념적 엄밀함 (Conceptual rigor): 일관된 용어와 패러다임 (paradigms)
• 인식론적 엄밀함 (Epistemic rigor): 신뢰할 수 있는 과학적 이해
• 운영적 엄밀함 (Operational rigor): 신뢰할 수 있는 성능과 배포 (deployment)

이 프레임워크 (framework)는 현대 AI의 놀라운 진보와 그를 둘러싼 불확실성을 모두 설명하는 데 도움이 됩니다.

개념적 엄밀함 (Conceptual rigor)은 이 분야가 자신이 무엇에 대해 말하고 있는지 알고 있는지를 묻습니다.

• 지능 (intelligence)이란 정확히 무엇인가?
• 무엇이 AGI (인공 일반 지능)의 자격이 있는가?
• 시스템이 정렬 (aligned)되었다는 것은 무엇을 의미하는가?

현재의 모델이 지능적인지에 대한 논쟁을 생각해 보십시오. 어떤 사람은 성능의 폭을 지적합니다. 다른 사람은 취약한 계획 (planning) 능력을 지적합니다. 또 다른 사람은 샘플 비효율성 (sample inefficiency)을 강조합니다. 또 다른 사람은 모델이 세계에 대한 근거 있는 모델 (grounded model)을 가지고 있는지 묻습니다.

그들은 하나의 속성에 대해 의견이 일치하지 않는 것처럼 보이지만, 실제로는 네 가지를 평가하고 있는 경우가 많습니다.

이것이 실무에서 개념적 명확성 (conceptual clarity)이 중요한 이유입니다. 지능, 이해, AGI, 그리고 정렬 (alignment)에 관한 질문은 철학에만 국한되지 않습니다. 이 질문들은 사물이 어떻게 측정되고, 최적화 (optimized)되며, 구축되는지를 결정합니다.

인식론적 엄밀함 (Epistemic rigor)은 경험적 성공이 과학적 이해로 전환되었는지를 묻습니다.

이 논문은 세 가지 기준에 집중합니다:
• 연구 결과가 재현 (reproduced)될 수 있는가?
• 행동을 사전에 예측 (predicted)할 수 있는가?
• 성공과 실패를 설명할 수 있는가?

원칙적으로 AI 실험은 이례적으로 재현 (reproducible) 가능합니다. 코드, 데이터, 그리고 모델을 복제할 수 있기 때문입니다. 하지만 결론은 여전히 랜덤 시드 (random seeds), 하이퍼파라미터 (hyperparameters), 구현 방식의 선택, 벤치마크 (benchmark) 선정, 그리고 컴퓨팅 예산 (compute budgets)에 크게 의존할 수 있습니다.

숫자를 재현하는 것이 그로부터 도출된 결론을 재현하는 것과 항상 일치하는 것은 아닙니다.

예측 (Prediction)은 더 어렵습니다.

스케일링 법칙 (Scaling laws)은 일부 훈련 결과를 예측할 수 있습니다. 무한 너비 이론 (Infinite-width theory)은 더 다루기 쉬운 설정으로 이끌 수 있습니다. 고전적 학습 이론 (Classical learning theory)은 중요한 부분들을 설명합니다. 하지만 모델이 언제 일반화 (generalize)될지, 분포 변화 (distribution shift) 상황에서 언제 실패할지, 혹은 적대적 섭동 (adversarial perturbations) 하에서 언제 견고함 (robust)을 유지할지를 알려주는 광범위한 원칙은 여전히 부족합니다.

설명 (Explanation)은 훨씬 더 어렵습니다.

신경망 (Neural networks)은 수학적으로 명시되어 있지만, 학습된 특징 (features)들은 인간의 해석을 거부합니다. 특정 행동은 훈련 데이터, 최적화 역학 (optimization dynamics), 내부 표현 (internal representations), 또는 이들 모두의 상호작용으로부터 발생할 수 있습니다. 시스템은 코드상으로는 투명하지만, 의미상으로는 불투명 (opaque)합니다.

운영적 엄밀함 (Operational rigor)은 현대 AI가 가장 강력한 부분입니다: 벤치마크 (benchmarks), 평가 (evaluations), 모니터링 (monitoring), 레드팀 활동 (red-teaming), 그리고 배포 제어 (deployment controls) 등이 이에 해당합니다.

이 분야는 시스템에 대한 과학적 이론을 먼저 확보하지 않고도 시스템을 개선하는 데 매우 효과적이 되었습니다. 벤치마크는 능력을 측정 가능한 목표로 바꿉니다. 사후 훈련 (Post-training)은 행동을 형성합니다. 도구와 스캐폴딩 (scaffolding)은 모델의 약점을 보완합니다.

따라서 운영적 엄밀함은 과학적 이해를 부분적으로 대체할 수 있습니다. 이러한 불균형이 딥러닝 시대를 정의합니다:

• 능력 (Capabilities)은 빠르게 향상됩니다.
• 설명 (Explanations)은 뒤처집니다.
• 벤치마크 (Benchmarks)는 최적화 목표가 됩니다.
• 새로운 시스템은 이론이 흡수할 수 있는 속도보다 더 빠르게 새로운 현상을 생성합니다.

AI는 과학이 설명해야 할 대상 자체를 끊임없이 변화시키면서 발전하고 있습니다.

AI가 과학과 기술 모두로서 성숙해지기 위해서는 다음 세 가지 형태의 엄밀함 (rigor)이 모두 필요할 것입니다:
• 우리의 목표를 정의하기 위한 더 명확한 개념 (concepts).
• 시스템의 동작을 예측하고 설명하기 위한 더 강력한 과학 (science).
• 시스템을 진정으로 신뢰할 수 있게 만들기 위한 더 나은 엔지니어링 (engineering).

AI의 미래는 단순히 "더 많은 엄밀함"을 요구하는 것에 달려 있는 것이 아니라, 어떤 종류의 엄밀함이 결여되어 있는지를 식별하고, 그 불균형이 우리가 무엇을 구축하고, 알고, 제어할 수 있는지에 어떤 영향을 미치는지 이해하는 것에 달려 있습니다.
[IMG:N]