개발자들은 이제 스택 오버플로우(Stack Overflow)와 같은 사이트에 축적된 인간의 답변과 대규모 언어 모델(LLM)의 출력이라는 두 가지 매우 다른 출처에서 코드를 가져옵니다. 우리는 이 분할에 대해 두 가지 질문을 던집니다. 첫째, 코드 조각 자체만으로 그 출처를 복구할 수 있는가? 그리고 둘째, 두 출처는 동일한 작업을 위해 채택하는 보안 패턴에서 차이가 나는가? 오직 오픈 소스만을 사용하여, 공개 가중치 언어 모델의 공용 게이트웨이와 공개 스택 오버플로우 API를 활용하여, 우리는 9개의 언어 모델과 인간 답변으로부터 OAuth with PKCE, JWT 검증, 비밀번호 해싱, SQL 접근 등 보안에 민감한 31가지 프로그래밍 작업의 실제 구현을 수집하는 완전히 재현 가능한 파이프라인을 구축하고, 모든 샘플을 결정론적 보안 및 스타일 탐지기로 점수화합니다. 528개의 실제 샘플에서 우리는 인간 대 모델 출처를 93% 정확도로 복구하는 교차 검증 분류기(cross-validated classifier)를 78%의 기준선 대비 학습시켰고, 해당 샘플을 작성한 특정 모델에 할당하는 7방향 분류기를 48%로 개발했습니다. 그런 다음 우리는 출처가 보안 측면에서 어디서 분기하는지, 어떤 패턴이 모델들이 인간 코퍼스보다 더 자주 채택하는지, 그리고 어떤 패턴은 인간 코퍼스로부터 상속받는지 보고합니다. Python, JavaScript, Go, Java에서 동일한 작업을 실행하면서, 우리는 보안 편차가 모든 언어에서 유지되는 반면 출처 경계는 부분적으로 언어별이며 그들 사이에 대칭적으로 전이되지 않음을 발견했습니다. 모델에게 안전하지 않은 코드를 주고 수정하도록 요청하는 취약점 복구 사례 연구에서는 21개의 시드와 12개의 약점 클래스에 걸쳐 77%의 복구율을 보였지만, 모델이 잘못된 방어책을 추가하는 대신 안전하지 않은 패턴만 제거하는 반복적인 부분 수정 실패를 발견했습니다. 이 파이프라인은 데이터 기반이므로, 새로운 작업이나 언어가 추가될 경우 단일 사양 항목으로 추가할 수 있으며, 오류가 발생하면 닫히는(fail-closed) 검사기가 본 논문의 모든 숫자를 저장된 데이터로부터 재도출합니다.