직접 제작한 자격증 문제집 사이트(PHP 초급)의 문제 500문항을 Claude Code에게 만들게 했습니다. 코드를 포함한 총 433문항에 대해 검증 커맨드를 적용하고, 대상에서 제외된 문제를 PHP로 실행하여 등록된 정답과 대조했습니다. 2026년 11월 7일 기준, PHP 8.2.0으로 테스트했을 때의 결과는, 수정 전 커맨드에서는 일치 396건・불일치 0건・대상 제외 37건이었고, 수정한 후 커맨드에서는 일치 403건・불일치 0건・대상 제외 30건입니다.
대상에서 제외된 문제 중 10문항은 출력 내용을 묻는 유형이었습니다. 본문의 서술 방식이 달라 대조 과정에서 누락되었습니다. 이 글의 자료를 검증하는 도중에 이를 파악하고 같은 날 수정했습니다. 수정한 후, 10문제 중 7문제가 대조되었고, 모두 일치했습니다.
도중에 제가 사용하던 DB가 문제 JSON보다 오래된 것임을 깨달았습니다. 본문의 수치는 DB를 재정비한 후에 다시 측정된 것입니다.
실행해도 찾을 수 없는 문제도 있었습니다. 정답만 길거나, 본문에 답의 힌트가 포함되어 있는 경우입니다.
문제 유형은 총 3가지입니다.
- 단일 선택
- 복수 선택
- 빈칸 채우기 (코드의 '□'에 들어갈 것을 선택)
문제를 만들 때의 규칙을 미리 정해두었습니다. 관련된 부분만 발췌합니다.
- 코드의 출력을 묻는 문제는, 제작 후에 실제로 PHP로 실행하여 그 출력이 정답과 일치하는지 확인합니다.
- 제작된 문제는 먼저 '확인 완료' 처리하지 않습니다. 사람이 직접 확인한 후, '확인 완료' 및 '공개' 처리를 합니다.
첫 번째 방식은, 생성 시 Claude Code가 CLI나 내장 서버 + curl로 실행하여 확인하던 방식이었습니다. 이와 별도로, 코드를 포함한 문제를 일괄적으로 재실행하는 Artisan 커맨드를 만들었습니다. 해당 커맨드의 설명문에는 '연 1회 검토용'이라고 명시되어 있습니다.
커맨드는 php artisan questions:verify-php 입니다. 본 절과 다음 절의 분류 및 코드는 11월 7일 수정 전 버전입니다. 수정한 부분은 '같은 날 수정한 내용'에 기재했습니다.
코드를 포함한 문제를 하나씩 보면서 다음 순서로 분류합니다.
- 복수 선택 → 대상 제외
- 코드에
$_GET, $_POST, $_SERVER, $_SESSION, session_start, header( 등 변수가 들어 있는 경우 → 웹 서버가 필요하므로 대상 제외 - 빈칸 채우기 → 각 선택지를 □에 끼워 넣어 실행합니다.
- 본문이 '다음 PHP 코드를 실행했을 때의 출력'으로 시작하는 경우 → 실행하여 정답 선택지와 대조합니다.
- 그 외 → 대상 제외. 커맨드는 '출력 자체를 묻는 문제가 아니다'라고 표시하고 건너뜁니다.
대상에서 제외된 문제는 실행하지 않고 다음 단계로 넘어갑니다.
코드의 실행은 임시 파일에 작성하여 별도의 프로세스 PHP로 구동합니다. 에러도 출력에 포함하여 비교합니다.
private function runCode(string $code): string
{
$file = tempnam(sys_get_temp_dir(), 'pnq');
...
}
출력을 묻는 문제는 간단합니다. 앞뒤 공백을 제외하고, 정답 선택지의 문자열과 완전히 일치하는지 확인합니다.
$expected = $question->choices->firstWhere('is_correct', true)?->body;
$actual = $this->runCode($question->code);
return trim($actual) === trim($expected) ? null : [/* 불일치 내용 */];
빈칸 채우기 문제에는, 올바른 코드를 넣었을 때의 실행 결과(expected_output)를 가지고 있습니다. 검증 시에는 선택지를 하나씩 □에 끼워 넣어 실행하고, expected_output와 일치하는 선택지들을 모읍니다.
$matched = [];
foreach ($question->choices as $choice) {
$output = trim($this->runCode(str_replace(Question::BLANK, $choice->body, $question->code)));
...
}
여기서 확인하는 것은 두 가지입니다.
- 등록된 정답 선택지가 기대했던 출력을 내는지 여부
- 정답 외에, 기대했던 출력을 내는 선택지가 없는지 여부
정답이 아닌 선택지에서도 같은 출력이 나온다면, 답이 2개인 문제입니다. 두 번째 확인은 그것을 찾아내는 과정입니다. 정답 하나만 실행해서는 발견할 수 없습니다.
| 항목 | 이전(수정 전) | 이후(수정 후) |
|---|
| PHP 초급 문제 수 | 500 | 500 |
| ... | | |
| 제외 대상 내역입니다. | | |
| 이유 | 이전(수정 전) | 이후(수정 후) |
|---|
| Web 서버 필요 | 24 | 26 |
| ... | | |
| 이전에는 복수 선택, Web 서버 필요, 빈칸 채우기 어느 것에도 해당하지 않으면서 본문이 “다음 PHP 코드를 실행했을 때의 출력”으로 시작하지 않는 문제를 “출력 그 자체를 묻는 문제가 아니다”로 처리했습니다. 실행 환경은 로컬 PHP 8.2.0이며, 이전과 이후 모두 동일한 데이터로 실행했습니다. | | |
제외 대상 문제는 Claude Code가 작성할 때 수동으로 실행하여 확인한 문제입니다. 검증 커맨드로는 확인하지 않았습니다.
Web 서버가 필요한 문제 (이전에는 24건). 예를 들어, 다음 코드의 출력을 묻는 문제가 있습니다.
echo $_SERVER['REQUEST_METHOD'];
커맨드 라인에서 실행하더라도 브라우저로 URL을 열었을 때의 결과는 재현할 수 없습니다. 코드에 식별자 문자열이 포함되어 있으면 제외 대상으로 처리합니다.
본문 시작 문구가 다른 13건. 이전 분류 기준의 네 번째 항목은 본문이 “다음 PHP 코드를 실행했을 때의 출력”으로 시작하는지 여부만 보고 있습니다. 이 13건은 다른 시작 문구를 가지고 있었습니다.
결과나 설명을 묻는 형태가 3문제입니다. 예를 들어, 다음 코드를 PHP 8로 실행했을 때의 결과를 묻는 문제가 있습니다.
echo 1 ? 'a' : 0 ? 'b' : 'c';
정답은 “괄호 없이 중첩했기 때문에 Fatal error가 발생한다”입니다. 선택지가 출력이 아니라 설명문이기 때문에 실행 결과와 문자열로 비교할 수 없습니다.
나머지 10문제는 출력을 묻는 문제입니다. 본문의 시작 문구는 예를 들어 다음과 같습니다.
- 다음 파일을 PHP로 실행했을 때의 출력으로 올바른 것은? (3문제)
- “sample.php”라는 파일에 작성된, 다음 코드를 실행했을 때의 출력으로 올바른 것은?
- 다음 커맨드를 터미널에서 실행했을 때의 출력으로 올바른 것은?
모두 출력을 묻고 있습니다. 그럼에도 불구하고 시스템은 “출력 그 자체를 묻는 문제가 아니다”라고 표시하며 비교하지 않고 건너뛰었습니다. 이 기사의 소재를 대조하는 과정에서 발견된 누락입니다.
최초 버전에서도 Web 서버가 필요한 문제와 정답이 등록되지 않은 문제는 제외 대상으로 했습니다. 그 외의 코드 포함 문제는 본문의 시작 문구와 관계없이 대조했습니다. 도중에 본문이 “다음 PHP 코드를 실행했을 때의 출력”으로 시작하는 문제로만 범위를 좁혔습니다. 이때 추가한 테스트는 “치명적인 오류가 발생하는 경우”가 정답인 문제가 제외 대상이 되는지 확인하는 것입니다. 시작 문구가 다른 출력 문제는 누락되는 것을 테스트하지 않았습니다.
분류 기준 네 번째 항목을 본문이 “출력으로 올바른 것은?”을 포함하는지 여부로도 판별하도록 했습니다. 아울러, 다음 3문제는 이유를 들어 제외 대상으로 처리했습니다.
- POST로 전송된 본문을
file_get_contents('php://input') 으로 읽는 2문제. 임시 파일을 PHP로 실행하는 구조로는 전송된 본문을 재현할 수 없습니다. “Web 서버 필요”의 식별자에 php://input을 추가했습니다.
- 코드가
php -r 'echo 1 + 1;' 이라는 터미널 커맨드인 1문제. PHP 파일로서는 실행할 수 없으므로, 코드가 php로 시작하는 문제는 제외 대상으로 했습니다.
나머지 7문제는 대조되었고, 모두 일치했습니다.
그중 한 문제는 “sample.php”에 관한 문제입니다. 코드는 basename(__FILE__)로 자신의 파일명을 출력합니다. 검증 커맨드는 임시 파일로 실행하기 때문에 그대로는 파일명이 맞지 않습니다. 본문에 “sample.php”와 같이 파일명을 지정하는 문제는 그 이름의 파일로 실행하도록 했습니다.
테스트는 시작 문구가 다른 출력 문제, 터미널 커맨드와 POST 본문, 파일명을 지정한 문제 3건을 추가했습니다.
기사 내용을 다시 확인하던 중 알게 되었습니다. 대조에 사용한 로컬 DB에 문제 JSON 500문제 중 5문제가 들어있지 않았습니다. 10월 29일에 수정한 문제 중 너무 자명하여 대체된 2문제와, 본문의 힌트를 줄인 3문제입니다. DB에는 수정 전 버전이 남아 있었습니다. 선택지를 수정한 3문제도 DB에서는 수정 전의 선택지가 그대로였습니다.
로컬 환경에서는 문제를 수정한 후 JSON을 다시 가져오지 않았습니다. 또한, 가져오는 명령어는 본문과 코드의 조합으로 같은 문제인지를 판별합니다. 본문이나 코드를 수정한 문제는 별개의 문제로 추가되고, 이전 버전은 DB에 남아있게 됩니다. 로컬 DB에서 이전 버전 5개를 삭제하고 JSON을 다시 가져왔습니다. 이 기사의 수치는 그 이후에 재가져온 것입니다.
이전 데이터로 처음 계산했을 때는 일치 397건, 대상 제외 37건이었습니다. 코드까지 포함한 문제는 총 434문항이었으며, 현재보다 1문항 더 많이 계산했습니다. 이는 교체 과정에서 삭제된 문제가 DB에 남아있었기 때문입니다.
불일치 0건은 코드와 정답이 일치한다는 의미입니다. 이 문제가 좋은 문제인지는 별개의 문제입니다. 500문제로 만든 후, 다음 수정을 커밋하고 있습니다.
protected
접근 범위를 묻는 문제의 수정 전 선택지입니다.
- 해당 클래스 내부에서만
- 어디서든
- 해당 클래스와, 해당 클래스를 상속받은 클래스 내부(정답)
- 같은 파일 내부에서만
정답만 길어서 읽지 않아도 답을 알 수 있었습니다. 수정 후에는 다른 선택지도 비슷한 길이로 조정했습니다.
- 해당 클래스 내부에서만 사용 가능하며, 상속받은 클래스에서는 사용할 수 없음
- 해당 클래스와 같은 네임스페이스에 있는 모든 클래스 내부
- 해당 클래스와, 해당 클래스를 상속받은 클래스 내부(정답)
- 해당 클래스를 작성한 파일 내부라면 어디서든
session_start()를 호출하는 위치 문제와 앞서 언급된 삼항 연산자 문제는 같은 이유로 선택지를 수정했습니다. 동일한 커밋에서 너무 자명하여 문제가 된 2문도 교체했습니다. 그중 한 문제는 PHP_VERSION_ID >= 80000을 사용하여 'PHP8 이상'을 출력하는 코드 문제였습니다. 교체 후에는 앞서 언급된 'sample.php' 문제입니다.
본문에 정답에 연결되는 단어가 포함되어 있던 문제가 있습니다.
| 문제 | 삭제된 부분 |
|---|
$_SERVER['REQUEST_METHOD'] 출력 | 「(GET 메서드로)」 |
REQUEST_METHOD가 POST인지로 구분하는 문제 | 「(GET 메서드로)」 |
SplQueue 빈칸 채우기 | 「(먼저 넣은 것이 먼저 나오는, 큐의 움직임입니다)」 |
| 종료 태그와 세미콜론 다중 선택 | 「문장의 마지막 세미콜론을 생략해도」 |
마지막 문제는 본문을 '다음 PHP 코드 중 구문 오류가 발생하지 않는 것을 모두 고르시오.'로 변경했습니다.
검증 커맨드는 코드, 선택지, 정답만 확인합니다. 선택지의 길이 또는 본문의 표현 방식은 보지 않습니다. 정답만 긴 선택지와 본문의 힌트는 제가 읽고 찾아낸 것입니다. 수정한 것은 Claude Code입니다.
10월 20일 커밋에는 '실행 검증에서 모호했던 빈칸 채우기 1문 수정'이라고 적혀 있습니다. 발견한 것은 검증 명령어가 아니라 작성 시의 실행 검증이었습니다. 이 1문제의 내용은 커밋에 수정 전 형태가 남아있지 않아 알 수 없습니다.
PHP 버전이 올라갈 때 동작이 바뀌는 문제가 출제됩니다. 이 명령어는 매년 한 번씩 새로운 PHP로 실행하여, 동작이 바뀐 문제를 찾기 위해 만들었습니다. 연례 실행을 알려주는 시스템은 아직 구축하지 않았습니다.
--stamp를 붙이면, 일치한 문제의 '대상 버전'에 실행한 PHP 버전을 기록합니다. 11월 7일 실행분은 모두 --stamp가 없었기 때문에, 대상 버전 기록은 변경되지 않았습니다.
-
코드 포함 문제 433문항 중, 수정한 후 명령어로 403문항을 PHP 8.2.0으로 실행하고 등록된 정답과 대조했습니다. 일치 403건, 불일치 0건
-
빈칸 채우기는 모든 선택지를 넣어 실행하여, 기대대로 되는 것이 정답 중 하나인지 확인합니다. 답이 두 개인 문제를 여기서 찾습니다.
-
출력을 묻는 10문항이 본문의 서두가 달라 대조에서 누락되었습니다. 같은 날 수정하여 7문항을 대조했고 모두 일치했습니다. POST의 본문을 읽는 2문제와 터미널 커맨드의 1문제는 이유를 들어 대상 제외 처리했습니다.
-
대조에 사용한 로컬 DB가 JSON보다 오래되었습니다. 맞춰 정리한 후 수치를 다시 계산했습니다.
-
대상 제외된 30건은 작성 시 수동으로 실행하여 확인한 것이며, 이 명령어로는 확인하지 않았습니다.
-
정답만 긴 선택지나 본문의 답 힌트는 실행해도 발견되지 않습니다. 제가 읽고 찾아냈으며, Claude Code가 수정했습니다.
-
「모호했던 빈칸 채우기 문제 1개」의 내용. 커밋은 문제 추가분만 포함되어 있어, 수정 전 형태가 남아있지 않다.
-
대상에서 제외된 30건에 대한 작성 시 수동 실행 결과. 문제별 기록까지는 확인하지 못했다.
-
POST 본문을 읽는 2문제와 터미널 명령어 1문제를 웹 서버나 터미널에서 실행했을 때의 결과. 대상에서 제외만 했을 뿐, 실제로 시도해보지 않았다.
-
실제 운영 DB가 새로운 JSON 내용으로 업데이트되었는지 여부. 확인한 것은 로컬(개인) DB뿐이다.
-
일치한 403건에 대해 확인한 것은 코드 출력과 등록된 정답의 일치 여부뿐이다. 해설의 정확성이나, 다른 선택지가 왜 오답인지에 대한 설명이 올바른지는 확인하지 못했다.
-
정답만 길거나 본문 내에 힌트가 남아있는 문제가 500문제 안에 아직 없는지 여부. 전체 개수는 세어보지 않았다.
-
복수 선택이 0건이 된 이유. 복수 선택 문제는 코드 입력란을 사용하지 않고, 선택지에 코드를 작성하는 형태이기 때문으로 추정되나, 모든 문제를 조사하지는 않았다.
-
PHP 8.2.0 이외의 버전에서의 결과
이 글은 Zenn에도 게시되어 있습니다.