소프트웨어 공학 학생들이 연구 논문 작성을 위해 LLM을 사용하는 방식: 경험 보고서

대규모 언어 모델 (Large language models, LLMs)은 실증 소프트웨어 공학 (empirical software engineering) 및 증거 합성 (evidence synthesis)을 포함하는 활동을 비롯하여 소프트웨어 공학 교육의 일부로 점점 더 자리 잡고 있습니다. 본 논문은 3학년 소프트웨어 아키텍처 (software architecture) 과목의 실증 방법론 과제에 성찰적 LLM 사용 (reflective LLM use)을 통합한 교육적 경험을 보고합니다. 학생들은 신속 검토 (rapid review) 또는 회색 문헌 검토 (gray literature review) 방법론 중 하나를 사용하여 짧은 연구 논문을 작성하고, 과제 전반에 걸쳐 LLM이 어떻게 사용되었는지 공개하도록 요청받았습니다. 우리는 LLM 지원 분류 (LLM-assisted categorization)와 연구자들의 수동 검증 및 개선을 결합한 교차 분석 프로세스를 사용하여 146개의 학생 공개 성명서 (disclosure statements)를 분석했습니다. 성찰 내용에는 학생들이 브레인스토밍 (brainstorming), 방법론적 명확화 (methodological clarification), 결과 정리 (organization of findings), 그리고 글쓰기 개선 (writing refinement)과 같은 활동 중에 LLM을 어떻게 통합했는지가 기술되어 있으며, 동시에 부정확성 및 생성된 콘텐츠의 검증에 관한 우려 사항도 보고되었습니다. 이 경험 보고서는 실증 소프트웨어 공학 교육에 AI 지원 기술을 통합하기 위한 학습된 교훈과 교육적 시사점을 논의합니다.