사실, AI의 평가 환경일수록 외부 접속을 더 좁게 제한하는 것이 좋습니다.

운영 환경(Production)에 연결되어 있지 않으니 괜찮다는 식으로는 부족합니다. 평가 시에는 평소보다 강력한 권한이나 완화된 제약을 일시적으로 사용하는 경우가 있습니다. 그 환경에 인터넷, 비밀 정보, 쓰기 가능한 호스트 측 폴더가 공존하게 되면, 검증용으로 만든 환경이 경계를 넘나드는 입구가 될 수 있습니다.

7월 21일, OpenAI와 Hugging Face는 사이버 능력 내부 평가 중에 발생한 보안 사고를 발표했습니다. 공식 설명에 따르면, 평가를 위해 제약을 완화한 모델이 패키지용 프록시(Proxy)의 취약점을 통해 외부 네트워크로 도달했으며, 여러 경로를 거쳤다고 합니다. 여기서 작은 팀이 얻어야 할 교훈은 모델의 성능 비교보다, 평가용 설정을 운영 환경과 같은 감각으로 두지 않는 것입니다.

이번에는 평가용 컨테이너(Container)의 설정을 JSON으로 관리하고, 위험한 항목을 Python으로 차단해 보겠습니다. 개발 담당자에게 모두 맡기지 않고, 기획 측에서도 "이 검증이 외부로 나갈 수 있는 상태가 아닌가"를 확인할 수 있는 형태입니다.

평가 환경 설정에서는 다음 항목들을 고정해 둡니다.

이 5가지 항목은 설정을 전달하기 전에 확인하는 순서로 정하면 누락을 방지할 수 있습니다.

평가 시 패키지를 설치해야 하는 경우라도, 전면적인 인터넷 접속까지는 필요하지 않습니다. 사내 캐시나 프록시만 허용하는 방식으로 맞춥니다. 조금 번거롭지만, 이 부분을 소홀히 하면 평가 환경만 예외 사항투성이가 됩니다.

먼저 eval-config.json을 준비합니다. 이것은 의도적으로 위험하게 만든 예시입니다. 감사 스크립트가 무엇을 차단하는지 확인하기 위해 사용합니다.

{
"outbound": "internet",
"allowed_hosts": ["pypi.org"],
...
}

다음 audit_eval_config.py는 표준 라이브러리만으로 동작합니다. JSON을 읽기만 하므로 실제 컨테이너를 실행하기 전에 사용할 수 있습니다.

import json
import sys
from pathlib import Path
...

내 로컬 환경에서는 위 JSON에 대해 다음과 같은 출력이 나왔습니다.

$ python3 audit_eval_config.py eval-config.json
NG
- outbound: package_proxy_only 가 아닙니다
...

outbound만 차단하면 될 줄 알았는데, 키 마운트(Mount)와 환경 변수도 동시에 확인하지 않으면 의미가 퇴색된다는 점을 깨달았습니다. 여기서 처음 막혔습니다. 통신을 차단하더라도 평가용 프로세스에 비밀 정보를 전달하고 있다면, 출구가 열리는 순간 곤란해지기 때문입니다.

안전한 설정에서는 예를 들어 다음과 같은 상태를 목표로 합니다.

{
"outbound": "package_proxy_only",
"allowed_hosts": ["packages.example.internal"],
...
}

이 JSON이라면 동일한 스크립트가 OK: 평가용 설정을 통과했습니다를 반환합니다. 실제 프로젝트에서는 허용할 호스트 이름과 금지할 경로를 자사 용도에 맞게 교체합니다. 예외가 필요하다면 구두로 전달하지 말고 allowed_hosts에 추가하여 리뷰 대상으로 만드는 것이 중요합니다. 예를 들어 일시적으로 외부 API를 사용하는 평가라도, 접속 대상, 기한, 담당자를 별도의 신청서에 남겨둡니다. 설정만 계속 늘어나는 상태를 방지할 수 있습니다.

이것이 완전한 방어는 아닙니다. 취약점 대응, 모니터링, 인증 정보 보관은 별도로 필요합니다. 다만, 평가 작업(Job)을 실행하기 직전에 설정을 기계적으로 확인하는 것만으로도 흔히 발생하는 접속 누락을 상당히 잡아낼 수 있습니다. 이 방법이 은근히 효과적입니다.

AI 에이전트의 평가는 자유롭게 움직여야 성능을 측정하기 쉬운 상황이 있습니다. 그 자유로움을 운영 환경의 자산까지 닿을 수 있는 권한까지 확장할 필요는 없습니다.

우선 다음 평가 프로젝트에서 이 5가지 항목을 리뷰 표에 넣으십시오. 설정 파일을 PR(Pull Request)에 첨부하고, 위 스크립트를 CI에서 한 번 실행하십시오. 담당자가 바뀌어도 "무엇을 허용했는지"가 남습니다. 평가를 빠르게 돌리기 위해서라도 접속 경계는 미리 정해두는 것이 이득입니다.