학교에서의 AI는 단순한 또 다른 SaaS 출시가 아닙니다.

교실 도구는 수업 계획, 학생 글쓰기, 피드백, 행동 기록, 접근성 지원, 학부모 소통, 평가, 그리고 민감한 학생 기록에까지 영향을 미칠 수 있습니다. 이는 유용한 AI 기능이라 할지라도 생산성 앱(Productivity app)에 사용하는 것과 동일한 가정을 가지고 출시된다면 매우 빠르게 위험해질 수 있음을 의미합니다.

교육을 위한 AI를 구축하거나, 구매하거나, 평가하고 있다면, 프롬프트(Prompts), 모델(Models), 또는 대시보드(Dashboards)를 고려하기 전에 가드레일(Guardrails)부터 시작할 것을 권장합니다.

1. 시스템이 영향을 미칠 수 있는 결정을 정의하십시오

첫 번째 질문은 "우리는 어떤 모델을 사용하는가?"가 아닙니다.

첫 번째 질문은 "이 시스템이 어떤 결정에 영향을 미칠 수 있는가?"입니다.

교사가 예시를 브레인스토밍하기 위해 AI를 사용하는 것과, 학교가 학생을 위험군으로 분류하거나, 배치를 권장하거나, 글쓰기 점수를 매기거나, 행동 기록을 요약하기 위해 AI를 사용하는 것 사이에는 큰 차이가 있습니다.

저위험(Low-stakes) 지원은 대개 가벼운 검토만으로도 작동할 수 있습니다. 고위험(High-stakes) 결정에는 문서화, 이의 제기 경로, 인간의 책임성(Human accountability), 그리고 "도구가 틀렸다"라고 말할 수 있는 명확한 방법이 필요합니다.

2. 학생 데이터 최소화(Data minimization)를 제품 요구 사항으로 취급하십시오

교육 데이터는 일반적인 사용자 데이터가 아닙니다. 이름, 성적, 장애 기록, 징계 이력, 가족 상황, 건강 세부 정보, 정확한 생년월일 등은 구체적이고 필요한 이유가 없는 한 AI 워크플로(Workflow)를 통해 이동해서는 안 됩니다.

출시 전에 다음 사항을 작성하십시오:

• 도구가 수집하는 데이터
• 해당 데이터가 모델 학습(Model training)에 사용되는지 여부
• 데이터가 얼마나 오래 보관되는지
• 누가 데이터에 접근할 수 있는지
• 학교가 데이터를 삭제할 수 있는지 여부
• 벤더(Vendor) 정책이 변경될 경우 어떻게 되는지

미국 학생 개인정보 보호 정책국(U.S. Student Privacy Policy Office)은 가상 학습 및 교육 기술 맥락을 위한 유용한 FERPA 리소스를 제공합니다: https://studentprivacy.ed.gov/resources/ferpa-and-virtual-learning

3. 맥락이 중요한 경우 인간의 검토(Human review)를 위해 구축하십시오

학교는 모델 입력값에 깔끔하게 들어맞지 않는 수많은 맥락(context)으로 가득 차 있습니다. 최근의 움직임, 슬픔, 언어 장벽, 장애 지원, 가족의 스트레스, 교사의 관찰, 또래 관계, 또는 데이터베이스에 전혀 기록되지 않는 교실 내 사건 등이 그 예입니다.

만약 AI 시스템이 학생에 대해 무언가를 요약하거나, 추천하거나, 점수를 매기거나, 혹은 플래그(flag)를 지정한다면, 인터페이스는 인간의 검토(human review)가 용이하도록 설계되어야 합니다. 교사는 소프트웨어와 싸우지 않고도 시스템이 왜 그런 제안을 했는지 확인할 수 있어야 하며, 이를 무시(override)하거나 맥락을 추가할 수 있어야 합니다.

4. 도구가 학생들에게 도달하기 전에 편향성(bias)을 테스트하십시오

편향성 점검은 가족들의 불만이 터져 나온 후가 아니라, 배포(deployment) 전에 이루어져야 합니다.

최소한, 학교 팀과 공급업체는 출력값이 연령대, 언어적 배경, 장애 상태, 사회경제적 맥락, 그리고 서로 다른 글쓰기 또는 의사소통 스타일 전반에 걸쳐 테스트되었는지 확인해야 합니다.

NIST의 AI 위험 관리 프레임워크(AI Risk Management Framework)는 AI 위험을 매핑, 측정, 관리 및 거버넌스(govern)하는 방법을 고민하기 위한 좋은 시작점입니다: https://www.nist.gov/itl/ai-risk-management-framework

5. 교사, 가족, 학생들에게 AI 사용 여부를 공개하십시오

숨겨진 자동화는 신뢰를 무너뜨립니다.

피드백을 생성하거나, 학생의 과제물을 요약하거나, 중재(intervention)를 추천하거나, 행정적 결정을 지원하기 위해 AI가 사용되고 있다면, 해당 시스템의 영향을 받는 사람들은 그 사실을 알아야 합니다. 설명이 거창할 필요는 없습니다. 짧고 평이한 언어로 작성된 안내문만으로도 해당 도구가 무엇을 하는지, 무엇을 결정하지 않는지, 그리고 누가 출력값을 검토하는지를 설명할 수 있습니다.

AI와 교수 학습의 미래에 관한 미국 교육부(U.S. Department of Education)의 보고서 또한 전문적인 판단을 대체하기보다는 교육자를 루프 안에 유지(keeping educators in the loop)하는 것을 강조합니다: https://www.ed.gov/sites/ed/files/documents/ai-report/ai-report.pdf

6. 교사에게 무시(override) 권한을 부여하되, 이를 사용한다고 해서 처벌하지 마십시오

무시(override) 버튼이 있다고 해서 충분한 것은 아닙니다. 만약 그 버튼을 사용하는 것이 추가적인 서류 작업을 발생시키거나 교사가 규정을 준수하지 않는 것처럼 보이게 만든다면 말입니다.

훌륭한 AI 워크플로 (workflow)는 교육자가 제안 사항을 수정, 주석 달기 (annotate), 기각 (dismiss) 및 개선할 수 있도록 허용해야 합니다. 만약 유일하게 실질적인 경로가 "시스템 출력값을 수용하는 것"뿐이라면, 그 제품은 전문적인 판단을 지원하는 것이 아니라 조용히 그것을 대체하고 있는 것입니다.

거버넌스 (governance), 연령 적합성, 형평성 및 정책 문제에 대해서는 교육 및 연구 분야의 생성형 AI (generative AI)에 관한 UNESCO의 가이드라인을 읽어볼 가치가 있습니다: https://www.unesco.org/en/articles/guidance-generative-ai-education-and-research

실질적인 도입 테스트

학교가 AI 도구를 배포하거나 구매하기 전에, 저는 다섯 가지 질문을 던질 것입니다:

• 도구가 틀렸을 때 발생할 수 있는 최악의 피해는 무엇인가?
• 워크플로 (workflow)에 실제로 필요한 학생 데이터는 무엇인가?
• 영향을 받는 사람이 AI가 관여했음을 이해할 수 있는가?
• 사람이 출력을 빠르게 무시 (override)할 수 있는가?
• 입력값에서 가장 위험한 데이터를 제거하더라도 도구가 여전히 유용한가?

Educators Support는 학교에서의 AI 위험과 이점에 대한 교실용 설명 자료를 제공하고 있으며, 이는 이러한 기술적 우려 사항을 교사와 가족들이 도입 과정에서 실제로 사용할 수 있는 질문으로 변환하는 데 도움을 줄 수 있습니다.

AI는 학교에 도움을 줄 수 있지만, 이는 구현 방식이 주변의 교실 현실을 존중할 때만 가능합니다. 최고의 제품은 가장 많은 것을 자동화하는 제품이 아닐 것입니다. 최고의 제품은 훌륭한 인간의 판단을 더 쉽게 만들어 주는 제품이 될 것입니다.