인간 피드백 기반 강화학습 (RLHF)에 의해 크게 형성된 현재의 인공지능 시대는 정교한 대화형 에이전트를 생성하는 우리의 능력을 부정할 수 없을 정도로 발전시켰습니다. 그러나 AI 연구 커뮤니티의 주요 인사는 이 접근 방식이 보조(assistance)에는 탁월하지만, 진정한 자동화(automation)를 달성하는 데 있어서는 부족하다고 주장합니다. OpenAI의 전 연구원이자 GPT-4 및 ChatGPT에 관한 중추적인 논문들의 공동 저자인 Diogo Almeida는 AI Engineer World's Fair에서 업계가 RLHF를 넘어 진정으로 자율적인 AI를 위한 새로운 패러다임을 수용할 준비가 되었다고 시사하며 설득력 있는 논거를 제시했습니다.

RLHF의 딜레마: 보조 vs 진정한 자동화

Almeida는 벤치마크가 지속적으로 경신되는 AI의 급격한 발전을 인정하며 발표를 시작했습니다. 하지만 그는 현재 AI 애플리케이션에서 나타나는 중요한 이분법을 강조했습니다. 즉, 지시 이행(instruction following) 및 챗봇 상호작용과 같은 작업에서는 "믿기 어려울 정도로 뛰어난" 시스템이 있는 반면, 고객 서비스나 데이터 입력과 같은 작업에서는 지속적인 인간의 감독이 필요하여 "유용하기에는 너무 형편없는" 시스템이 있다는 것입니다. 그는 RLHF의 근본적인 설계가 이러한 격차의 근본 원인이라고 상정했습니다.

"RLHF로부터 상속된 오늘날의 모든 AI는 인간이 개입하는(human in the loop) 작업에는 놀라울 정도로 뛰어나지만, 자동화 작업에는 그렇지 않습니다."라고 Almeida는 말했습니다. 그는 RLHF가 본질적으로 인간 사용자를 즐겁게 하는 것에 최적화되도록 설계되었다고 설명했습니다. 이는 매력적인 어시스턴트를 만드는 데는 매우 효과적이지만, 진정한 자동화에 요구되는 정밀도와 신뢰성을 본질적으로 타협하게 만듭니다. 그는 현재 AI가 과도한 약속을 하는 경향이 있는 것은, 보정되고 오류 없는 성능(calibrated, error-free performance)보다는 참여(engagement)를 최적화하는 데 집중하는 RLHF의 직접적인 결과라고 주장했습니다.

RLHF (Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습) 프로세스는 인간의 선호도(human preferences)를 수집한 다음, 이 피드백을 바탕으로 모델을 미세 조정(fine-tuning)하는 과정을 포함합니다. 이 방법은 유용하고 상호작용이 가능한 AI 어시스턴트를 개발하는 데 성공적임이 입증되었지만, 인간이 선호하는 것과 정확한 작업 수행(task execution)을 구성하는 것 사이의 괴리를 만들어냅니다. Almeida는 ChatGPT에게 방귀 소리에 대한 음악적 비평을 요청했을 때, AI가 터무니없지만 상세한 답변을 제공했던 일화를 통해 이 점을 설명했습니다. 이는 RLHF가 특정 작업에 대해 사실적 또는 맥락적으로 부정확하더라도, 인간의 감성에 맞게 느껴지는(palatable) 출력을 생성하려는 경향이 있음을 보여주었습니다.

진정한 자동화(automation)를 위한 목표는 인간의 선호도를 모방하는 것이 아니라, 인간의 개입 없이 이상적으로 자율적으로 작동하며 흔들림 없는 정확성과 신뢰성으로 작업을 수행하는 것입니다. Almeida는 이러한 목표의 근본적인 차이가 현재의 AI가 대화형 역할에는 뛰어나지만, 엄격한 정밀도와 자율성을 요구하는 분야에서는 어려움을 겪는 이유를 설명한다고 주장합니다.

앞으로 나아갈 길: 자동화를 위한 더 스마트한 소프트웨어

Almeida의 핵심 주장은 AI의 다음 중대한 도약이 진정한 자동화를 달성하는 데 있으며, 이 목표를 위해서는 RLHF로부터의 탈피가 필요하다는 것입니다. 그는 AI의 발전에도 불구하고, 서비스형 소프트웨어 (SaaS, Software-as-a-Service)의 근본적인 아키텍처는 챗봇이 종종 단순한 표면적 추가 기능으로만 기능할 뿐, 혁신적인 변화를 거의 겪지 못했다고 관찰했습니다. 그는 "적기 소프트웨어(just-in-time software)의 황금기"에 진입하고 있다는 Garry Tan의 의견에 공감하면서도, 이것이 본질적으로 더 스마트한 소프트웨어의 생성보다는 소프트웨어 생성의 확산으로 이어질 수 있다고 경고했습니다.

"제가 원하는 것은 더 스마트한 소프트웨어입니다,"라고 Almeida는 선언했습니다. "왜 B2B SaaS (Software as a Service)는 더 표현력이 풍부해질 수 없는 걸까요? 왜 소프트웨어의 구성 요소(building blocks)들은 여전히 똑같은 상태인 걸까요?" 그는 신뢰성(reliability)과 자동화(automation)에 초점을 맞추어 AI 스택(AI stack)을 재설계하는 방향으로 AI 산업의 전략적 재지향을 옹호합니다. 이러한 전환은 AI가 복잡하고 반복적인 작업을 탁월한 정확도로 자율적으로 관리할 수 있는 미래를 육성하는 것을 목표로 합니다.

Almeida는 자신의 현재 벤처인 TypeSafe AI가 이 과제를 적극적으로 해결하고 있다고 밝혔습니다. 이 회사의 근본적인 질문은 신뢰성과 자동화를 위해 특별히 AI 스택을 재설계하는 것이 가져올 잠재적 영향에 관한 것입니다. 그는 이 작업에 대해 깊은 만족감을 표하며, "제가 해온 일 중 가장 만족스러운 일 중 하나라고 생각합니다"라고 말했습니다. 그는 또한 곧 있을 발표를 암시하며, "기존의 스케일링 법칙 (scaling laws)은 틀렸었습니다"라고 언급하여 AI 개발 원칙에 대한 근본적인 재사고를 시사했습니다.

RLHF를 넘어선 미래 자동화에 대한 이러한 비전의 추구는 AI의 잠재력을 완전히 끌어내는 데 매우 중요합니다. openai scorecard에서 평가된 모델들이 보여주듯 현재의 AI는 인상적인 능력을 입증하고 있지만, RLHF의 한계는 더 강력하고 자율적인 시스템의 필요성을 가리키고 있습니다.

자율 AI의 미래를 수용하며

tags: ai, artificial intelligence, automation, rlhf, future of ai, type-safe ai, diogo almeida