AI를 사용하여 20분 만에 30개의 시험지를 채점하는 방법 (그리고 제가 여전히 하고 있는 것)

(Imagen: 커피 한 잔을 들고 코드가 가득한 화면 앞에서 집중하고 있는 나의 사진)

첫 번째 질문: 당신은 일 년에 시험지를 채점하는 데 몇 시간을 소비하나요? 예전에 저는 몇 주를 보냈습니다. 정말 골치 아픈 일이었죠. 하지만 이제는 다릅니다.

안녕하세요. Itelnet Consulting의 David García Muñoz-Hita입니다. 저희는 중소기업(pymes)이 AI를 통해 프로세스를 자동화하도록 돕는 일을 하고 있습니다. 오늘은 솔직히 시간 낭비라고 생각했던 과정인 시험지 채점 작업을 제가 어떻게 최적화했는지 말씀드리려 합니다. 그리고 Google이나 Microsoft에 거액을 지불하지 않고 오픈 소스 (Open Source) 도구들을 사용하여 이를 수행했습니다.

문제점: 시험지를 수동으로 채점하는 것은 시간이 많이 걸리고 솔직히 효율성이 떨어지는 작업입니다. 오류를 식별하고, 추론을 평가하며, 엄밀함의 부족을 표시하는 것... 각 시험지는 하나의 작은 전투와 같습니다. 그리고 30개의 시험지가 되면 상황은 혼란스러워집니다.

해결책: 도구들의 조합과 약간의 "기지".

저 자신을 속이지는 않겠습니다. 저는 시험지를 완벽하게 채점하는 AI를 마법처럼 만들어낸 것이 아닙니다. 하지만 놀라울 정도로 짧은 시간 안에 전반적인 통찰을 얻을 수 있는 워크플로 (Workflow)를 구축했습니다. 그 상세 내용은 다음과 같습니다:

1. Ollama: 오픈 소스 대규모 언어 모델 (LLMs)을 실행하기 위해 Ollama를 사용합니다. 저의 경우 Mistral이나 Zephyr와 같은 모델을 선택했습니다. 이 모델들은 강력하며, 무엇보다도 무료라는 장점이 있습니다.
2. Python 및 Pandas: Python과 Pandas 라이브러리를 사용하여 시험지를 CSV 파일로 가져옵니다. 이를 통해 효율적으로 데이터를 처리할 수 있습니다.
3. 프롬프트 엔지니어링 (Prompt Engineering): 여기에 비결이 있습니다. 시험의 각 질문에 대해 구체적인 프롬프트를 작성합니다. 예를 들어, 뉴턴의 법칙에 관한 물리 질문이 있다면 프롬프트는 다음과 같을 수 있습니다: "다음 답변을 분석하여 뉴턴의 제3법칙이 올바르게 적용되었는지 판단하세요. 답변이 정답인지 오답인지 표시하고, 그 이유를 짧게 설명하세요."
4. Ollama 호출: 시험의 각 답변을 Ollama의 프롬프트로 전송합니다. Ollama는 평가 (정답/오답)와 설명을 반환합니다.
5. 수동 검토: 이 과정은 매우 중요합니다. 저는 AI를 맹목적으로 신뢰하지 않습니다. AI가 확신하지 못하는 사례들을 수동으로 검토합니다. 보통 사례의 10% 정도에 해당하지만, 오류를 찾아내기에는 충분한 양입니다.

실제 사례:

이차 방정식에 관한 수학 수업에서 30개의 답변이 담긴 시험지를 채점했습니다. Ollama를 사용하여 15분 만에 각 답변에 대한 평가를 받았습니다. AI는 근의 공식을 적용한 답변, 부호 오류를 범한 답변, 그리고 개념을 이해하지 못한 답변을 정확하게 식별해냈습니다. 그 후 저는 AI가 망설였던 답변들을 검토하며 작은 부정확함을 수정하고 여백에 코멘트를 추가했습니다.

제가 여전히 하고 있는 것 (그리고 근본적으로 중요한 것):

• 시험 설계 (Diseño del examen): AI는 좋은 시험을 설계할 수 없습니다. 교사인 저는 명확하고 정확하며 학습을 평가할 수 있는 질문을 만드는 책임을 여전히 지고 있습니다.
• 인간의 검토 (Revisión humana): AI는 도구일 뿐, 인간의 판단을 대체할 수 없습니다. 평가의 품질을 보장하기 위해서는 수동 검토가 필수적입니다.
• 학생 피드백 (Feedback a los alumnos): 저는 AI로부터 얻은 정보를 활용하여 학생들에게 개인화된 피드백을 제공합니다. 이는 단순히 정답과 오답을 표시하는 것보다 훨씬 더 효과적입니다.

이를 통해 당신이 얻는 이점은 무엇인가요?

만약 당신이 교사이고 시험 채점에 수 시간을 할애하고 있다면, 엄청난 시간을 절약할 수 있습니다. 또한, AI는 학생들의 학습 상태에 대해 더 객관적인 통찰을 제공합니다. 그리고 물론, 당신이 정말로 중요한 일, 즉 가르치는 일에 집중할 수 있게 해줍니다.

제게는 시간이 얼마나 걸리나요?

이 워크플로 (Workflow)를 사용하면 약 20분 만에 30개의 시험지를 채점할 수 있습니다. 즉, 시험지 한 장당 6분이 걸립니다. 이를 통해 저는 수업 준비와 학생들과의 상호작용에 더 많은 시간을 할애할 수 있습니다.

더 빠르게 진행하려면

• DGM Horizon 코스 - 시험 채점 자동화: gumroad.com/l/rcupyj (9€) - 전체 워크플로를 설정하는 방법을 상세히 알려드립니다. 실습 예제와 프로세스 최적화를 위한 팁이 포함되어 있습니다.
• DGM Horizon 코스 - AI/자동화 감사: gumroad.com/l/dzyue (47€) - 당신의 수업 중 AI가 가장 큰 가치를 더할 수 있는 영역을 식별하도록 도와드립니다.
• DGM Horizon 코스 - 2026 법적 업무 기록: gumroad.com/l/ntdtaj (97€) - 기술적인 주제처럼 보일 수 있지만, 당신의 시간을 뺏는 작업들을 자동화하는 방법을 알려드립니다.

더 이상 시간을 낭비하지 마세요!

시험 채점 자동화에 관심이 있다면, info@itelnetconsulting.com으로 연락하여 무료 감사를 신청하세요.

서명:

David García Muñoz-Hita

AI 자동화 컨설턴트 (Consultor en Automatización con IA) | Itelnet Consulting

itelnetconsulting.com

Itelnet Consulting