Anthropic이 Claude Fable 5를 재출시했을 때, 저의 첫 번째 질문은 _"SOC 조사를 위해 어떤 모델이 가장 똑똑한가?"_가 아니었습니다.

그것은 바로:

실제 운영 중인 SOC(Security Operations Center)에서 내가 실제로 사용할 모델은 무엇인가?

정확도도 중요하지만, 비용, 지연 시간(Latency), 그리고 확장성(Scalability)도 중요합니다.

이를 답변하기 위해, 저는 실제 SOC 조사 사례를 바탕으로 세 가지 Claude 모델을 모두 비교했습니다.

테스트 방법론 (Test Methodology)

저는 실제와 유사한 SOC 시나리오에서 수집된 **18개의 실제 보안 경고(Security Alerts)**를 사용하여 각 모델을 평가했습니다.

데이터셋은 다음 분야의 경고를 포함했습니다:

• Identity (ID/계정)
• Cloud (클라우드)
• Endpoint (엔드포인트)
• Perimeter Security (경계 보안)

각 모델은 다음을 동일하게 받았습니다:

• 정확히 동일한 경고
• 정확히 동일한 프롬프트 (Prompt)
• 동일한 탐지 규칙 컨텍스트 (Detection Rule Context)

모든 모델에는 다음 사항을 수행하도록 요청되었습니다:

1. 경고 이해
2. 가용한 증거 조사
3. 다음과 같이 분류:
   • True Positive (진양성)
   • False Positive (위양성)
   • Benign (정상)
4. 추론 과정 설명
5. 신뢰도 점수 (Confidence Score) 제공

프롬프트 엔지니어링(Prompt Engineering)의 차이는 없었습니다.
인간의 개입도 없었습니다.
오직 모델만 변경되었습니다.

최종 점수 (Final Scores)

모델	점수
Claude Fable 5	9/10
...

Claude Fable 5

강점 (Strengths)

Fable은 벤치마크에서 100% 정확도를 기록했습니다.

가장 큰 장점은 단순히 정답을 맞히는 것에 그치지 않고, 일관되게 더 깊이 있는 조사 추론(Investigative Reasoning)을 보여주었다는 점입니다.

몇 가지 관찰 사항:

• 탁월한 다단계 추론 (Multi-step Reasoning)
• 여러 약한 신호(Weak Signals) 간의 강력한 상관관계 파악
• 모든 결론 뒤에 따르는 상세한 설명
• 노이즈가 많은 탐지 규칙을 개선하기 위한 유용한 권장 사항
• 실제 위협에 대한 포괄적인 사고 대응(Incident Response) 가이드

Fable은 고립된 지표(Indicators)를 보는 대신, 이를 하나의 완전한 조사로 연결했습니다.

이러한 깊이 덕분에 다음과 같은 분야에서 특히 가치가 있습니다:

• 복잡한 조사
• 탐지 엔지니어링 (Detection Engineering)
• 위협 헌팅 (Threat Hunting)
• 규칙 튜닝 (Rule Tuning)
• 영향력이 큰 사고 (High-impact Incidents)

약점 (Weakness)

가장 큰 단점은 비용입니다.

Claude Opus 4.8

Opus 또한 벤치마크에서 100% 정확도를 기록했습니다.

그의 추론은 다음과 같았습니다:

• 명확함 (Clear)
• 실용적임 (Practical)
• 일관적임 (Consistent)

만약 이를 SOC 역할과 비교해야 한다면, Opus는 **시니어 SOC 분석가 (senior SOC analyst)**와 매우 유사하게 행동합니다.

분석을 지나치게 복잡하게 만들지 않으면서 균형 잡힌 조사를 제공합니다.

많은 조직에게 Opus는 품질과 비용 사이의 최적의 균형을 나타냅니다.

Claude Sonnet 4.6

Sonnet은 18개의 경고 중 16개(~89%)를 정확하게 분류했습니다.

일상적인 조사를 잘 처리했으며, 빠르고 읽기 쉬운 응답을 생성했습니다.

하지만 다음과 같은 상황에서는 가끔 어려움을 겪었습니다:

• 여러 개의 약한 신호 (weak signals)를 상관 분석 (correlation)해야 할 때
• 조사 문맥 (investigation context)이 더 복잡해질 때
• 여러 공격 단계 (attack stages)를 서로 연결해야 할 때

때때로 전체적인 그림을 그리기보다는 증거를 개별적으로 분석하는 경향이 있었습니다.

그럼에도 불구하고, Sonnet은 여전히 매우 유능한 일상 조사 모델로 남아 있습니다.

사람에 비유하자면, Sonnet은 **주니어 SOC 분석가 (junior SOC analyst)**와 매우 유사하게 수행합니다. 일상적인 업무에는 신뢰할 수 있지만, 더 복잡한 케이스에 대해서는 에스컬레이션 (escalation)을 통해 도움을 받는 것이 좋습니다.

비용의 현실

실제 운영 환경에서는 모델의 순수 품질만이 중요한 요소가 아닙니다.

SOC 규모에서는 비용이 빠르게 중요한 비중을 차지하게 됩니다.

저의 평가 결과는 다음과 같습니다:

모델	출력 토큰 상한 (Output Token Ceiling)
Sonnet 4.6	1,000
...

추가적으로:

• Fable은 Sonnet에 비해 약 4배의 출력 토큰 상한이 필요합니다.
• Fable의 출력 토큰은 Sonnet보다 대략 3배 더 비쌉니다.
• 결과적으로, 입력 토큰과 클라우드/인프라 비용을 고려하기 전에도 Fable을 사용한 단일 조사는 Sonnet보다 약 12배 더 많은 비용이 듭니다.

매일 수천 개의 경고를 처리하는 조직에게 이러한 차이는 의미 있는 운영상의 영향을 미칩니다.

나의 결론 (My Takeaway)

이번 비교는 중요한 교훈을 확인시켜 주었습니다:

가장 똑똑한 모델이 항상 최고의 운영 모델인 것은 아니다.

저의 현재 워크플로우 (workflow)를 위해서는:

• Sonnet 4.6은 대량의 일상적인 경보 분류 (alert triage)에 여전히 매우 적합합니다.
• Opus 4.8은 더 복잡한 조사 (investigations)를 위한 탁월한 선택입니다.
• Fable 5는 조사 품질이 비용보다 더 중요한 심층 조사 (deep investigations), 위협 헌팅 (threat hunting), 그리고 탐지 엔지니어링 (detection engineering) 분야에서 빛을 발합니다.

서로 다른 모델이 SOC 워크플로우 (workflow)의 서로 다른 단계에 적합합니다.

다음 단계

저는 현재 **비용 (cost)**과 품질 (quality) 사이의 격차를 줄이는 작업을 진행 중입니다.

목표는 명확합니다:

Sonnet 수준의 비용으로 Opus 수준의 신뢰도를 달성하는 것.

또한, Sonnet 5가 일상적인 SOC 분석을 위해 조사 품질과 운영 비용 사이에서 더 나은 균형을 제공하는지 평가할 계획입니다.

여러분의 의견을 듣고 싶습니다

이미 SOC에서 AI 또는 LLM을 사용하고 계신다면:

• 주로 **품질 (quality)**을 위해 최적화하시나요?
• 비용 (cost)?
• 지연 시간 (latency)?
• 아니면 분석가 생산성 (analyst productivity)인가요?

다른 분들은 이러한 트레이드오프 (trade-off)에 어떻게 접근하고 계신지 궁금합니다.