LLMSecOps(대규모 언어 모델 보안 운영)를 위한 멋진 자료 모음

🔐 LLMSecOps (Large Language Model Security Operations, 대규모 언어 모델 보안 운영)에 대한 멋진 리소스들을 큐레이션한 목록입니다. 🧠

아키텍처 | 취약점 | 도구 | 방어 | 위협 모델링 | Jailbreaks | RAG 보안 | PoC(개념 증명) | 학습 자료 | 서적 | 블로그 | 테스트용 데이터셋 | OPS 보안 | 프레임워크 | 모범 사례 | 연구 | 튜토리얼 | 기업 | 커뮤니티 리소스

LLM 안전성은 오늘날 사회에 중요하고 관련성이 높은 방대한 지식 분야입니다. 이 Awesome 목록의 목적은 커뮤니티가 LLM 개발 프로세스를 어떻게 구축해야 하는지, 즉 안전하게 구축하는 방법과 그 과정에서 마주칠 수 있는 위협에 대한 필요한 지식을 제공하는 것입니다. 누구나 기여할 것을 환영합니다.

중요한 점

이 리포지토리는 기존의 많은 리포지토리와 달리 보안의 실질적인 구현을 강조하며, 설명 부분에 arxiv 참고 자료를 많이 제공하지 않습니다.

LLM 시스템에서 근본적인 아키텍처 위험 및 과제 개요.

LLM 애플리케이션에서 발견되는 일반적인 취약점 및 보안 문제.

| 카테고리 | 방법 / 기술 | 작동 원리 (메커니즘) | 사용 예시 / 개발사 |
|---|---|---|
| 1. 근본적 정렬(Fundamental Alignment) | RLHF (인간 피드백 기반 강화학습) (Reinforcement Learning from Human Feedback) | 인간 평가를 통해 학습된 보상 모델을 기반으로 강화학습을 통해 모델을 훈련합니다. 이는 '유용성'과 '안전성'을 최적화합니다. | OpenAI (GPT-4), Yandex (YandexGPT) |
| | DPO (직접 선호도 최적화) (Direct Preference Optimization) | 선호 쌍(preference pairs)을 기반으로 응답 확률을 직접 최적화하여, 별도의 보상 모델 생성 과정을 우회합니다. 더 안정적이고 효과적인 것으로 설명됩니다. | Meta (Llama 3), Mistral, 오픈 모델s | |
| | Constitutional AI / RLAIF | 일련의 규칙(

외부 필터(Guardrails)
Llama Guard
위험 분류 체계(risk taxonomy) 준수 여부를 확인하기 위해 들어오는 프롬프트와 나가는 응답을 검사하는 전문 LLM 분류기입니다 (MLCommons). | Meta |
NeMo Guardrails
프로그래밍 가능한 대화 관리 시스템입니다. 엄격한 주제 준수 및 공격 차단을 위해 Colang 언어를 사용합니다. | NVIDIA | |
Prompt Guard / Shields
LLM에 도달하기 전에 탈옥(jailbreaks)과 프롬프트 주입(prompt injections)을 감지하는 경량 모델입니다 (BERT/DeBERTA 기반). | Meta, Azure AI | |
Omega Walls (Ω)
RAG/에이전트를 위한 결정론적 런타임 신뢰 경계: 신뢰할 수 없는 콘텐츠를 벽 압력(wall-pressures)으로 투사하고, 세션 흉터 질량(session scar-mass)을 축적하며, 감사 가능한 차단(auditable Off)을 트리거합니다. 문서 차단 및 도구 동결이 가능합니다. | SynqraTech (OSS) | |
SmoothLLM
무작위 평활화 방법: 표지 기호 교란(symbolic perturbations)을 사용하여 프롬프트의 복사본을 생성함으로써 적대적 공격(예: GCG 접미사)의 구조를 방해합니다. | 연구원 (SmoothLLM 개발자) | |
Google Safety Filters
사용자 정의 가능한 민감도 임계값 및 의미론적 벡터 분석을 통한 다단계 콘텐츠 필터링입니다. | Google (Gemini API) | |
4. 시스템 지침(System Instructions)
시스템 프롬프트/태그(System Prompts / Tags)
특수 토큰(예: </start_header_id>)을 사용하여 시스템 지침과 사용자 지침을 분리합니다. | OpenAI, Meta, Anthropic |
지침 계층 구조(Instruction Hierarchy)
프롬프트 주입에 대비하여 시스템 지침이 사용자 지침보다 우선하도록 설정하는 것입니다. 특히 모델이 '과거 지침 잊기' 명령을 무시하도록 학습할 때 중요합니다. | OpenAI (GPT-4o Mini) |
5. 테스트(Red Teaming)
자동화된 공격(GCG, AutoDAN)
알고리즘 및 다른 LLM을 사용하여 수십만 개의 적대적 프롬프트를 생성하여 취약점을 찾습니다. | 연구 그룹

LLM에 대한 탈옥 기법을 이해하고 테스트하기 위한 자료, 데이터베이스 및 벤치마크.

| Resource | 설명 | Stars |
|---|---|
| JailbreakBench | 언어 모델의 탈옥 방법을 평가하고 분석하는 데 전념하는 웹사이트 | N/A |
| ... |
LLM의 동작, 의사 결정 및 내부 메커니즘을 이해하고 해석하기 위한 자료.

프롬프트 주입 테스트(PINT) 벤치마크 점수로 다양한 프롬프트 주입 탐지 시스템을 비교합니다.

참고: 전체적이고 가장 최신화된 인터랙티브 리더보드는 Hugging Face 리더보드 또는 GitHub 저장소를 방문하십시오.

이 저장소에서 (최종 업데이트: 2025년 12월 18일)

스탠퍼드 대학교의 안전성 벤치마크입니다

검색 증강 생성(RAG) 시스템을 위한 보안 고려 사항, 공격 및 방어.

| Article |
| ... ||
| Agenthof | 모델의 에이전트 호출, 도구/MCP(Model Call Plane), 그리고 실행 호출을 외부에서 중재하는 거버넌스 제어 평면: 호출별 자격 증명 주입으로 에이전트가 비밀 정보를 절대 보유하지 않음, 에이전트별 최소 권한(도구 허용 목록, 읽기 전용 권한 부여, 기본 거부), 그리고 해시 체인 연결된 변조 방지 감사 원장. Apache-2.0, Go. |

AI 기반 브라우저 에이전트와 그 고유한 공격 벡터에 대한 보안 연구 및 분석.