Alignment has a Fantasia Problem

최신 AI 어시스턴트(AI assistants)는 사용자가 자신의 목표와 필요한 지원의 종류를 명확하게 표현할 수 있다고 암묵적으로 가정하고 지침을 따르도록 훈련됩니다. 그러나 수십 년간의 행동 연구(behavioral research)에 따르면, 사람들은 종종 목표가 완전히 형성되기 전에 AI 시스템과 상호작용합니다. 만약 AI 시스템이 프롬프트(prompts)를 의도의 완전한 표현으로 취급한다면, 그것은 유용하거나 편리해 보일 수 있지만, 반드시 사용자의 필요와 정렬(aligned)되어 있다고 할 수는 없습니다. 우리는 이러한 실패 사례들을 '판타지 상호작용(Fantasia interactions)'이라고 부릅니다.

우리는 판타지 상호작용이 정렬 연구(alignment research)의 재고를 요구한다고 주장합니다: AI는 사용자를 합리적인 오라클(rational oracles)로 취급하기보다는, 시간이 지남에 따라 사용자가 의도를 형성하고 다듬도록 적극적으로 도움으로써 인지적 지원(cognitive support)을 제공해야 합니다. 이를 위해서는 머신러닝(machine learning), 인터페이스 디자인(interface design), 그리고 행동 과학(behavioral science)을 연결하는 학제 간 접근 방식(interdisciplinary approach)이 필요합니다. 우리는 이들 분야의 통찰력을 종합하여 판타지 상호작용의 메커니즘과 실패 사례들을 규명합니다. 그런 다음 기존 개입책들이 왜 불충분한지를 보여주고, 인간이 자신의 과제에서 발생하는 불확실성을 더 잘 헤쳐나갈 수 있도록 돕는 AI 시스템을 설계하고 평가하기 위한 연구 의제(research agenda)를 제안합니다.