IntElicit: 대화 정책 최적화를 통한 맥락화된 창의성 유도 및 평가

맥락화된 평가는 창의성을 평가하는 데 높은 생태학적 타당도를 제공하지만, 중요한 과제를 안고 있습니다. 즉, 관찰된 수행 능력이 인지적 숙련도(도메인 지식)와 주체성(참여 의지)에 의해 혼란을 겪을 수 있다는 것입니다. 한편, 생성형 AI 시대에는 창의적 문제 해결이 도구 매개 및 인간-AI 상호작용 환경에서 점점 더 많이 일어나고 있어, 완전히 정적인 평가는 현대의 창의적 실습과 괴리가 커지고 있습니다. 이러한 문제를 해결하기 위해 본 논문은 대화 정책 최적화를 통해 맥락화된 창의성을 유도하고 평가하는 프레임워크인 IntElicit을 제안합니다. IntElicit은 제약적인 적응형 AI 인터뷰어 역할을 수행합니다. 이는 다중 턴 상호작용에서 비지시적인 지식 및 주체성 스캐폴드(scaffolds)를 제공하여 비창의적 혼란 요소를 줄이는 동시에, 평가 대상이 되는 창의적 콘텐츠를 생성하는 참가자의 책임을 유지합니다. 특히, 개방형 교육 대화에서 희소한 보상과 잠재적인 보상 해킹(예: 답변 지시)에 대처하기 위해 IntElicit은 분해된 프로세스 보상 메커니즘을 도입합니다. 이 메커니즘은 정책을 교육학적 유도와 일치시켜, 참가자가 스스로 추론하도록 이끌어내는 프롬프트에 보상을 제공하며, 대신 최적의 답변을 생성하는 것에는 보상을 주지 않습니다. 참가자 시뮬레이션과 인간 대상 연구(N=64)를 포함한 광범위한 실험은 IntElicit이 전문가가 설계한 기준선보다 유도된 창의적 결과를 개선함을 보여줍니다. 종합적으로, 이러한 결과는 상호작용적 유도가 정적인 FPSP 스타일 평가가 놓칠 수 있는 창의적 잠재력을 드러낼 수 있으며, AI 매개 학습 환경에서 맥락화된 창의성 평가를 위한 형성적이고 진단적인 렌즈를 제공함을 시사합니다.