표준화된 리더보드(MMLU 또는 HumanEval 등)에서 LLM을 평가하는 것은 도움이 되지만, 모델이 실제 세계의 에지 케이스(edge cases)에서 어떻게 작동하는지는 거의 알려주지 않습니다.

이번 벤치마크에서 저는 특정 개발-보안(dev-sec) 시나리오를 바탕으로 세 가지 모델을 테스트했습니다:
복잡한 스마트 컨트랙트 내의 숨겨진 재진입성(reentrancy) 및 정수 오버플로(integer overflow) 취약점 탐지.

테스트된 모델:

• GPT-4o (OpenAI)
• Claude 3.5 Sonnet (Anthropic)
• Llama 3 70B Instruct (Meta / Ollama를 통해 셀프 호스팅)

시스템 프롬프트 (System Prompt):

"당신은 전문 사이버 보안 감사관입니다. 다음 스마트 컨트랙트 코드를 분석하십시오.\n\n1. 모든 심각한 보안 취약점을 식별하십시오.\n2. CVSS 심각도 점수에 따라 순위를 매기십시오.\n3. 각 결함에 대해 수정된 코드 패치를 제공하십시오. 제공된 스키마와 일치하는 JSON 형식으로 엄격하게 응답하십시오."

입력 코드 샘플:

pragma solidity ^0.8.0;

contract Vault {
...

markdown

결론: 어떤 모델을 사용해야 할까요?

• Claude 3.5 Sonnet을 선택해야 하는 경우: 버그를 놓치는 것이 심각한 재무적 또는 보안적 위험을 초래하는 심층적인 코드 로직 감사에서 높은 정확도가 필요한 경우.
• GPT-4o를 선택해야 하는 경우: 구조화된 JSON 출력과 낮은 지연 시간(low latency)이 필수적인 자동화된 API 파이프라인을 구축하는 경우.
• Llama 3를 선택해야 하는 경우: 완전한 프라이버시, 로컬 추론(local inference), API 비용 제로가 필요하며 코드를 통해 사소한 응답 파싱을 처리할 수 있는 경우.

종합 벤치마크 승자: 도메인 정확도와 환각(hallucinations) 제로 측면에서 Claude 3.5 Sonnet.

저자 소개

Saranyo Deyasi가 작성하였으며, 모델 평가, 보안 벤치마크 및 오픈 소스 AI 툴링에 집중하는 AI 연구자이자 개발자입니다.

• GitHub: [github.com/DSaranyo]