AI 생성 객관식 문제: 답변 배치에서 편향성을 발견하다 (그리고 배포 전에 확인하는 방법)

AI에게 자격증 시험용 객관식 문제를 생성하도록 요청하면, 순식간에 그럴듯해 보이는 많은 양의 문제가 쏟아져 나옵니다. 읽기에 자연스럽고 눈에 띄는 이상함이 없습니다. 하지만 실제로 제가 개수를 세어보니, 상당한 편향성을 발견했습니다.

본 게시물에서는 AI가 생성한 객관식 문제(학습 퀴즈, 내부 평가 또는 연습 테스트용)를 다른 사람에게 공개하기 전에 수행할 수 있는 세 가지 확인 방법을 공유합니다. 프로그래밍 지식이 필요하지 않습니다.

제가 한 일

저는 특정 AI 자격증 시험에 대한 연습 문제 300개를 AI로 생성하게 했습니다. 이 문제들은 4지선다 객관식이었고, 각 문제마다 설명이 달려 있었습니다. 제 목표는 이를 Udemy와 같은 플랫폼에 '연습 테스트'로 게시하는 것이었습니다.

확인 방법 1: 정답을 숨기고 다른 AI에게 풀게 하기

저는 질문들(정답이나 설명 없이)을 생성한 것과는 다른 AI에게 입력했습니다. 그 결과는 이랬습니다. 300문제 중 300문제가 두 번째 AI에 의해 정확하게 답변되었습니다.

처음에는 저를 상당히 자신감 있게 만들었습니다. 하지만 다음 확인 방법에서 밝혀지듯이, 이 완벽한 일치는 주의 깊게 해석되어야 했습니다.

제가 사용한 프롬프트는 다음과 같았습니다:

"다음 4지선다 객관식 문제를 풀어주세요. 정답 외에도, 어렵거나 혼란스러운 문제, 그리고 사실 정보가 오래되었거나 의심스러운 것들을 표시해 주세요."

300문제 중 23문제가 플래그 지정되었습니다. 여기에는 구식이 된 제품 세대에 대한 설명이나 모호한 출처를 가진 진술들이 포함되어 있었습니다. 저는 이 모든 문제를 고려 대상에서 제외했습니다.

확인 방법 2: 정답의 위치 개수 세기

저는 각 문제에 대해 정답의 위치(1번째, 2번째, 3번째 또는 4번째 옵션)를 순서대로 나열했습니다.

제가 발견한 것은 명확한 패턴이었습니다. 정답은 종종 1 → 2 → 3 → 4 → 1과 같이 순차적으로 반복되는 경향이 있었습니다. 인접한 문제의 경우, 정답의 위치가 58%의 경우 '하나씩 전진'하는 경향을 보였습니다. 진정으로 무작위적인 분포라면 이 수치는 약 25% 정도여야 합니다. 일부 섹션에서는 심지어 83%에 달했습니다!

이는 내용 이해 여부와 관계없이, 단순히 위치적 패턴을 인식하는 것만으로도 답을 추측할 수 있다는 것을 의미했습니다. Check 1에서 진행했던 300문제 매칭이 만약 해결 AI가 특정 섹션에서 이러한 패턴에 사로잡혔다면, 그solving AI의 진정한 능력을 완전히 반영하지 못했을 수도 있습니다.

해결책은 간단합니다. 질문과 해설을 쌍으로 유지하면서 선택지 순서만 무작위로 섞는 것입니다. 제가 실제로 출판한 120문제에 대해서는 이 비율을 32%까지 낮추었습니다. 또한 플랫폼의 '선택지 순서 무작위화(randomize option order)' 설정을 활성화했습니다.

테스트 방법: 스프레드시트에 '문제 번호(Question Number)'와 '정답 위치(Correct Answer Position)'를 나열합니다. 그런 다음, 이전 문제로부터 '+1' 진행을 보이는 행의 개수(4가 1로 순환하는 경우 포함)를 계산합니다. 만약 이 비율이 25%를 상당히 초과한다면, 반드시 순서를 재배치해야 합니다.

Check 3: 저장 후에는 비어 있는 필드까지 모든 항목을 확인하기

플랫폼 정책은 종종 AI가 작성한 문제는 인간의 검토와 편집을 거쳤고, AI 사용이 설명에 명시된 경우 허용된다고 명시합니다. AI를 사용하여 저품질 강의를 대량 생산하는 것은 계정 정지로 이어질 수 있습니다. 따라서 제가 출판한 120문제는 모두 공개 전에 수동으로 검토했습니다.

저는 9월 28일에 이 강좌를 출판했습니다. 하지만 출판 후, 페이지 상단의 강좌 설명(부제)이 문장 중간에서 잘려나간 것을 발견했습니다.

테스트 방법: AI 생성 또는 자동 채우기 기능을 사용하는 모든 것을 저장할 때는, 사용자가 직접 입력한 필드만 확인하지 마세요. 콘텐츠에 초점을 맞추어 화면의 모든 필드를 기대치와 비교해야 합니다.

현재 결과

판매 실적 측면에서, 첫 10일 동안 등록 건수는 0건이었습니다. 주된 이유는 검색 결과 상위에 노출되지 않기 때문이라고 추측하지만, 아직 확인하지 못했습니다. 11월 초에 수치를 다시 확인하고 업데이트하겠습니다.

요약

다른 사람에게 AI 생성 객관식 문제를 배포하기 전에:

1. 다른 AI가 (답변 없이) 이를 풀어보게 하고, 의심스러운 문제가 있는지 표시합니다.
2. 정답의 위치를 세어봅니다 (예: +1과 같은 순차적 패턴 확인).
3. 저장 후에는 사용자가 직접 입력하지 않은 필드를 포함하여 화면의 모든 필드를 검토하며, 내용에 초점을 맞춥니다.

제가 만든 것: 생성형 AI 패스포트 실습 시험 (Udemy, 60문제 x 2)
https://www.udemy.com/course/seisei-ai-passport-mogi-shiken/?referralCode=6469391F79A2107CC456

11월 수치가 나오면 이 게시물을 업데이트하겠습니다.

저는 소규모 Python 시스템(거래 봇, RAG API, 예약 자동화 등)을 구축하고 실행하며 — 그 과정에서 문제가 생기는 모든 것을 기록합니다.

만약 공급자 독립적인 RAG Q&A API가 유용하다면, 제 것이 GitHub에 MIT 라이선스로 공개되어 있습니다: rag-faq-api. 이 API는 API 키 없이도 전체 테스트 스위트(offline stub LLM + hashing embedder)를 실행하고 통과하며, 하나의 환경 변수만으로 Claude / Gemini / OpenAI로 전환할 수 있고, 청킹 스윕을 통해 검색 품질 하네스(Hit@k / MRR / Recall@k)를 제공합니다.