대규모 언어 모델(LLM)을 이용한 Linux/bash 시험의 자동 채점: 4단계 인지 분류 체계 접근 방식

요약

LLM을 활용하여 Linux/bash 명령 응답을 자동 채점하는 연구를 다룹니다. 4단계 인지 분류 체계를 도입하여 GPT, Claude, Gemini 등의 모델 성능을 평가했으며, 루브릭 기반 프롬프팅이 채점 정확도 향상에 핵심임을 입증했습니다.

핵심 포인트

• 4단계 인지 분류 체계를 통한 Linux/bash 시험 자동 채점 평가
• Gemini 1.5 Pro가 루브릭 강화 프롬프트 사용 시 가장 높은 인간-AI 일치도 달성
• 문제의 인지적 복잡성이 높을수록 LLM의 채점 정확도는 감소함
• 모델 종류보다 구조화된 루브릭 프롬프트의 품질이 채점 일치도에 더 큰 영향