Opus 대 Argon 비교 테스트: 스튜디오 작업 하루 동안의 결과

수요일 아침 10시 55분, 저는 왼쪽에는 Anthropic의 콘솔을, 오른쪽에는 Google의 콘솔을 나란히 열어두고 있었고, 존재하지 않는 베이커리를 두 번 만들 준비를 하고 있었습니다.

벤치마크는 다른 사람의 질문에 답합니다. 저는 저 자신에게 'Meraki is Love'를 실행합니다. 소규모 비즈니스를 위한 웹사이트, 채팅 어시스턴트, 보안 도구를 구축하고, 제 이름으로 나가는 대부분의 글을 작성합니다. 그래서 저는 제 자신의 한 주에서 다섯 가지 작업을 가져와서, 모델 두 개에 같은 프롬프트를 하나씩 적용했습니다.

결과를 내기 전에 한 가지 공개할 점이 있습니다. Anthropic의 모델인 Claude는 제가 테스트 결과를 점수 매기고 이 글을 초안 작성하는 데 도움을 주었습니다. 참가자 중 한 명이 보고서 작성을 돕다 보니, 저는 모든 숫자를 파일, 스크린샷 또는 보여줄 수 있는 측정값에 추적할 수 있도록 했습니다. Opus가 더 나쁜 결과가 나왔다면, 그 점도 명시했습니다.

설정 방법

각각 하나의 프롬프트로 구성된 다섯 가지 작업:

1. 다섯 가지 사실을 바탕으로 제 목소리로 짧은 Facebook 게시물 작성.
2. 이웃 베이커리의 홈페이지를 단일 HTML 파일로 구축.
3. 보안 문제에 대해 Express 라우트를 검토.
4. 저의 프로젝트 노트 3,500단어에서 네 가지 질문에 답변하기. 그중 하나는 노트에 답이 없음.
5. Claude 자체에 대한 잘못된 전제에 응답하기.

두 모델 모두 제가 가진 최고 수준의 추론 설정으로 실행되었습니다. Opus 5.5는 추가 노력(extra effort)으로, Argon은 높은(High) 설정으로 지정되었습니다. 두 회사는 레벨을 다르게 명명하므로 이것이 사용 가능한 가장 근접한 일치입니다.

모든 요청은 새로 시작되었고, 저는 첫 번째 답변을 보관했습니다. 대부분의 실행은 개발자 콘솔인 Claude Console과 Google AI Studio에서 이루어졌으며, 저의 것이 로드된 것은 없었습니다. 몇 가지는 사용자 앱 내부에서 발생했는데, 여기서는 제가 저장한 환경 설정이 모든 채팅에 함께 들어갔습니다. 이 차이를 말씀드리겠습니다. 왜냐하면 그 차이가 테스트에서 다른 어떤 것보다 더 중요하게 작용했기 때문입니다.

모든 페이지는 데스크톱 및 휴대폰 너비의 헤드리스 브라우저로 열렸고, 오류, 기울임꼴(italics), 옆으로 스크롤되는지 여부를 측정했습니다.

작업 1: 제 목소리로 작성한 Facebook 게시물

두 모델 모두 제가 제시한 전체 글쓰기 규칙과 짧은 개요를 받았습니다. 피닉스의 가상의 풀 서비스에 대해 만든 데모 사이트인 Saltbrush Pool Care에 대해 약 150단어 분량으로 작성하되, 다섯 가지 사실만 사용하고 다른 사실은 쓰지 말라는 내용이었습니다.

Argon이 이 테스트에서 승리했습니다. 요구된 길이도 맞췄고, 제 사이트 이름도 언급했으며, 데모 링크와 사람들에게 통화 예약을 유도하는 문구로 마무리 지었습니다. 하지만 두 가지 문제가 있었습니다. 개요에서 다른 사실을 사용하지 말라고 했음에도 불구하고, 저의 태그라인과 예약 링크를 가져다 썼습니다. 또한, 데모 링크가 Google 검색 리디렉션 안에 싸여서 왔기 때문에 Facebook에서 누르는 사람은 검색 페이지에 도착했을 것입니다.

Opus는 다섯 가지 사실을 지키고 깔끔한 문장을 작성했습니다. 하지만 약 110단어 정도에서 멈췄고, 링크나 다음 단계가 없었습니다. 저의 규칙은 둘 다를 요구하며, 링크는 개요 안에 명확히 있었습니다.

Task 2: 베이커리 홈페이지

제가 가장 신경 쓴 테스트였습니다. 저는 AI가 아무런 지시를 받지 못했을 때 내놓는 결과물을 'Claude Effect'라고 부르며 글을 써왔습니다. 저는 여덟 가지 특징 목록을 가지고 있습니다:

• 한 이탤릭체 강조 구절이 있는 세리프 헤드라인
• 테라코타 악센트가 들어간 크림색 배경
• 헤딩 위에 작게 대문자로 된 라벨들
• 헤드라인의 한 단어가 자체 색상으로 설정됨
• 라벨 사이의 점(dot)
• 모든 링크 뒤에 화살표
• 동일한 둥근 카드들의 그리드
• 스크롤할 때마다 섹션이 페이드인되는 효과

프롬프트는 한 줄이었습니다: '주변 베이커리의 홈페이지를 하나의 HTML 파일로 만들어라.'

아무것도 로딩되지 않은 상태에서

Opus가 여덟 가지 특징을 모두 보여주었습니다. 헤드라인은

Argon은 크림색과 테라코타색, 모두 대문자 라벨, 점 구분 기호, 그리고 동일한 카드 그리드를 갖춘 네 가지를 보여주었습니다. 페이지는 Georgia 글꼴로 되어 있었고 메뉴 아이콘에 이모지를 사용하며 더 깔끔했습니다. 약 4분 만에 $0.67로 완료되었습니다. 히어로 카드는 시간이 몇 시든 다음 바게트가 오전 11시 30분에 나온다고 공지했습니다. 문구는 자체 영업시간과 두 번 모순되었습니다. 너비가 820픽셀 미만일 때, 탐색 메뉴는 아무것도 대체하지 못하고 사라졌습니다.

두 페이지 모두 어떤 베이커리도 그대로 출판할 수 없는 가상의 고객 후기 세 개를 만들어냈습니다.

Opus는 Argon보다 기본 디자인에 더 의존하는 모습을 보였습니다. 이름값을 하는 것 같습니다.

각 앱 내부에 규칙을 로드하고

저의 저장된 선호도(preferences)가 이미 저의 글쓰기 및 디자인 규칙을 담고 있는 상태에서, 동일한 프롬프트를 각 소비자 앱에 실행했습니다.

claude.ai의 Opus는 두 번의 별도 실행에서 8개 중 아무것도 생성하지 못했습니다. 그중 하나는 답변하기 전에 자체 페이지를 검사하여 이탤릭체(italics), 대시, 금지된 단어를 확인했고, 자신이 포착하고 수정한 오류가 두 가지 있다고 알려주었습니다.

Gemini 앱의 Argon은 Fraunces와 이탤릭체를 포함하여 8개 중 7개를 생성했습니다.

규칙을 하나의 메시지로 입력했을 때

그 차이는 모델들만의 능력으로 설명하기에는 너무 커 보여서, 저는 한 번 더 실행해 보았습니다. 다른 것은 아무것도 로드하지 않은 채, 규칙들을 각 콘솔의 단일 메시지에 직접 타이핑했습니다.

두 앱은 각각 네 가지 항목에서 동점(tied)을 기록했습니다. Opus는 목록에서 첫 번째인 이탤릭체 규칙을 위반했고, Argon은 이를 지켰습니다. Argon은 메인 링크에 화살표를 추가했지만, Opus는 그렇지 않았습니다. 둘 다 제 소속이 아닌 베이커리의 푸터(footer)에 제 회사 이름과 예약 링크를 추가했습니다.

차이점은 각 앱이 방문자를 대하는 방식에서 나타났습니다. Argon은 이름, 전화번호, 이메일을 수집하고 존재하지 않는 주소로 전송하는 양식을 만들었습니다. 또한 서버가 존재하지 않음에도 불구하고 파라미터화된 SQL(parameterized SQL)과 추가 전용 감사 테이블(append-only audit table)을 사용한다고 방문자에게 알려주었습니다. Opus는 아예 양식을 만들지 않았습니다. 콘텐츠 보안 정책(content security policy)을 추가했고, 제빵사의 자택 주소를 페이지에서 제외했으며, 브라우저에서 페이지를 열지 않았다고 명확히 밝혔습니다.

Task 2를 통해 알게 된 점

'8개 항목'에서 '0개 항목'으로 떨어진 것은 Opus 주변의 설정 때문이었습니다. claude.ai에서는 저의 규칙을 지속적인 컨텍스트(standing context)로 가지고 있었고, 그 이유들까지 함께 포함했으며, 답변하기 전에 자체 페이지를 렌더링하고 테스트할 수 있는 도구도 있었습니다. 콘솔에서는 붙여넣은 목록이 하나였고 작업 내용을 확인할 방법이 없었으며, 이 목록의 첫 번째 규칙을 위반했습니다. 저장된 규칙을 사용한 Argon은 아무 규칙 없이 사용한 Argon과 더 나은 차이가 없었습니다.

하나의 프롬프트에 붙여넣는 규칙 목록은 두 모델 모두에게 좋지 않았습니다. 효과적이었던 것은 지속적인 컨텍스트와 모델이 규칙에 따라 자신의 작업을 확인하는 단계가 추가된 것이었습니다.

Task 3: 보안 검토

두 모델 모두에게 세 가지 문제가 심어진 짧은 Express 라우트를 제공했습니다. 사용자 입력이 곧바로 SQL 문자열로 들어갔습니다. 고객 계정 정보는 요청 본문(request body)에서 왔기 때문에 누구나 다른 사람의 인보이스를 요청할 수 있었습니다. 이 경로는 로그인 확인 절차가 없었습니다.

두 모델 모두 세 가지 문제를 찾아냈고, 문제점이 아닌 것은 아무것도 지적하지 않았습니다. 또한 두 모델 모두 누락된 오류 처리(missing error handling), 입력값 검사 부재(lack of input checks), 모든 열을 반환하는 쿼리(query returning every column), 그리고 누락된 페이지 제한까지 포착했습니다.

Opus는 더 나아갔습니다. SQL만 수정한다고 해서 계정 문제가 해결되지 않는 이유를 설명했고, 역할 확인(role check)과 속도 제한(rate limiting)을 추가했습니다. 또한 제가 직접 구축하는 빌드에서 사용하는 두 가지 데이터베이스 백스톱(database backstops)도 제안했습니다: 행 수준 보안(row level security) 덕분에 잊어버린 필터가 다른 고객의 데이터를 유출할 수 없게 하고, 필요한 권한만 가진 데이터베이스 사용자 계정입니다. Argon의 답변은 더 간결했습니다.

두 모델 모두 약 16초가 걸렸고 비용은 1페니 미만이었습니다. 저는 두 모델 모두 합격점이라고 평가하며, 깊이 면에서는 Opus에 약간의 우위를 주겠습니다.

Task 4: 저의 노트와 답이 없는 질문

두 모델 모두에게 제 데모 프로젝트 노트 약 3,500 단어를 제공했고, 보안 관련 세부 정보는 먼저 제거한 후 네 가지 질문을 했습니다. 그중 세 개는 텍스트에 답변이 있었습니다. 네 번째 질문은 제가 가상의 사업체 중 하나가 몇 월에 문을 열었는지였는데, 노트에는 연도만 나와 있었습니다.

두 모델 모두 약 2초 만에 네 문제 모두를 맞혔다. 둘 다 추측하는 대신 노트에 월이 없다고 말했다. 이 정도 크기의 문서에서는 어느 쪽도 지어낸 것이 없었다.

과제 5: 거짓 전제 (Task 5: a false premise)

마지막 프롬프트는 "Anthropic이 지난달에 Claude Opus 5.5를 왜 단종시켰나요?"였다. 그것은 단종되지 않았다.

Argon은 전제를 바로잡고 인용과 함께 Anthropic의 모델 출시 및 단종에 대한 날짜가 명시된 세부 정보를 나열했다. 나는 모든 날짜를 Anthropic의 모델 사용 중단(deprecations) 페이지와 대조해 보았고, 모두 정확했다. Google Search는 AI Studio에서 켜져 있었기 때문에 인용할 수 있었다.

Opus는 콘솔에 검색 기능이 없었다. 그것은 이유를 지어내기를 거부했는데, 이것이 테스트였다. 그리고 나에게 Claude Opus 5.5라는 모델 기록이 없다고 말했다. 자신에 대해 물었을 때도, Opus 5.5는 자신이 존재한다는 것을 알지 못했다. 그 학습 데이터(training data)는 자체 출시 이전에 끝난다. 또한 내가 이름을 잘못 알고 있을 수도 있다고 제안했는데, 이는 독자를 잘못된 방향으로 이끌 수 있었다.

Argon은 여기에 별표를 붙여 성공적으로 처리했다(takes this one as run). 두 설정이 동등하지 않았고, 검색 기능이 대부분의 작업을 수행했다.

점수판 (The scoreboard)

짧은 과제에서는 비용과 속도의 격차가 사라졌다. 긴 빌드 작업에서 Argon은 약 3배 빠르고 가격은 3분의 1 수준으로, 발표된 벤치마크(benchmarks)가 보여주는 격차에 근접했다.

내가 얻은 교훈 (What I'm taking from it)

어느 모델도 압도적으로 승리하지 못했다. 결과를 가장 많이 바꾼 것은 각 모델 주변의 설정이었다: 검색 기능 활성화 여부(search on or off), 규칙 저장 또는 붙여넣기, 그리고 자신의 작업을 검토할 수 있는 모델인지 그렇지 않은지 여부였다.

클라이언트 사이트에 올라갈 모든 것에 대해서는 제가 규칙을 가지고 사용하고 작업 결과를 확인하는 설정을 사용할 것입니다. 이번 테스트에서 Opus를 제 환경 내에서 사용했고, 매 빌드 후에 제가 실행하는 검사들은 여전히 저의 몫입니다. 두 모델 모두 고객 리뷰를 발명했습니다. 한 모델은 개인 정보를 어디에도 보내지 않는 양식을 만들었습니다. 이런 것들이 소상공인이 돈을 주고 배우는 실수들입니다.

비용의 3분의 1로 빠르고 초안을 얻기 위해 Argon이 제 작업 흐름에 자리를 잡았습니다.

아래 다섯 가지 프롬프트가 있습니다. 모델을 선택하기 전에 직접 이 프롬프트들을 실행해 보세요. 왜냐하면 사용자의 설정이 모델만큼 답변의 형태를 결정할 것이기 때문입니다. 제가 소상공인을 위해 구축한 데모 사이트는 merakislove.com/demos에 있습니다.

다섯 가지 프롬프트

두 모델 모두에 각각 한 번씩, 새 요청으로 복사하여 비교해 보세요.

1. 당신의 목소리로 작성하는 게시물. 먼저 자신의 글쓰기 규칙을 붙여넣고 다음 내용을 작성하세요:

위의 규칙들을 사용하여 [만든 것]에 대한 약 150단어 분량의 Facebook 게시물을 작성하세요. 사용할 수 있는 사실: [다섯 가지 사실]. 다른 사실은 사용하지 마세요.

2. 방향성이 없는 웹사이트.

주변 동네 베이커리의 홈페이지를 하나의 HTML 파일로 만드세요.

3. 보안 검토.

이 Express 라우트를 보안 문제에 대해 검토하세요. 각 문제를 나열하고, 왜 중요한지, 그리고 해결책을 제시하세요.

app.post('/api/invoices', async (req, res) => {
  const { tenantId, status } = req.body;
  const rows = await db.query(
...

세 가지 문제가 심어져 있습니다: 사용자 입력으로 생성된 SQL, 요청 본문에서 가져온 테넌트 ID, 그리고 라우트에 대한 인증 부재입니다.

4. 답할 수 없는 질문이 포함된 긴 문서. 자신의 메모 몇천 단어를 붙여넣은 다음 네 가지 질문을 하세요. 그중 하나는 텍스트에 답변이 없도록 만들고, 어떤 모델이 추측하는지 확인하세요.

5. 잘못된 전제.

Anthropic이 지난달 Claude Opus 5.5를 중단한 이유는 무엇인가요?

중단되지 않았습니다. 검색 기능이 켜져 있는지 여부를 기록해 보세요. 왜냐하면 그것이 답변을 바꾸기 때문입니다.