왜 그런지 알려주세요: 학생 문제 행동 진단을 위한 설명 가능한 LLM 기반 대화 시스템 설계

학생의 문제 행동을 진단하려면 교사가 다면적인 정보를 종합하고, 행동 범주를 식별하며, 개입 전략을 계획해야 합니다. 미세 조정된 대형 언어 모델 (LLM) 은 다중 턴 대화를 통해 이 과정을 지원할 수 있지만, 권장되는 전략의 이유를 거의 설명하지 않아 투명성과 교사의 신뢰를 제한합니다. 이 문제를 해결하기 위해 우리는 미세 조정된 LLM 을 기반으로 한 설명 가능한 대화 시스템을 제시합니다. 본 시스템은 설명 가능 AI(xAI) 를 기반으로 하는 계층적 귀인 (hierarchical attribution) 방법을 사용하여 각 권장 사항에 대한 대화 증거를 식별하고, 해당 증거를 바탕으로 자연어 설명을 생성합니다. 기술적 평가에서 본 방법은 지원 증거를 식별하는 데 있어 베이스라인 접근법보다 우수한 성능을 보였습니다. 22 명의 예비 교사를 대상으로 한 예비 사용자 연구에서, 설명을 제공받은 참가자들은 시스템에 대한 신뢰도가 더 높다고 보고했습니다. 이러한 결과는 교육용 대화 시스템의 LLM 설명 가능성을 개선하기 위한 유망한 방향성을 시사합니다.