저는 모델에게 작업을 해결하고 그 답을 Base64 페이로드 (payload)로 반환하도록 요구하는 오픈 벤치마크인 Encode Bench를 구축했습니다. 초기 결과는 저를 놀라게 했습니다. 현재 9개 모델 스냅샷 중 데이터가 일치하는 8개 모델을 대상으로 했을 때, Encode Bench의 통과율은 Artificial Analysis Intelligence Index와 0.91의 피어슨 상관계수 (Pearson correlation)를 보였습니다. Agentic Index와의 상관계수는 0.94였습니다. 이는 매우 극적인 수치처럼 들리므로, 바로 옆에 주의 사항을 덧붙여야 합니다. 이는 작고 불완전한 관찰 샘플일 뿐입니다. 이것이 Base64가 지능을 측정한다는 것을 보여주는 것도 아니며, 인과 관계를 입증하는 것도 아닙니다. SimpleBench는 유용한 반례입니다. 겹치는 모델이 단 4개뿐이긴 하지만, Encode Bench와의 상관계수는 0.23에 불과합니다. 이 아이디어는 제가 계속해서 목격한 비대칭성에서 비롯되었습니다. 모델들은 프롬프트 내의 Base64를 해석할 수는 있는 경우가 많았지만, 요청된 정확한 결과물로 디코딩되는 Base64를 생성하는 데는 어려움을 겪는 모델들이 있었습니다. 최종 페이로드를 생성하려면 모델은 다음을 수행해야 합니다: 근본적인 문제를 해결하고, 정답을 정확하게 보존하며, 이를 올바르게 인코딩하고, 매우 좁은 출력 규약 (output contract)을 따라야 합니다. 어느 한 단계에서라도 실패하면 결과물이 깨지기 때문에, 이는 다단계 신뢰성 (multi-step reliability)에 대한 투박한 테스트가 될 수 있습니다. 또는 토크나이저 (tokenizer) 동작, 학습 데이터, 사후 학습 (post-training), 추론 한계, 또는 제공자 라우팅 (provider routing)을 주로 반영하는 것일 수도 있습니다. 현재의 벤치마크는 이러한 설명들을 분리해낼 수 없습니다. 점수가 매겨지는 배터리 (battery)에는 인코딩 충실도, 지시 이행 (instruction following), 산술, 논리, 코드 추론, 그리고 구조화된 데이터에 걸친 24개의 결정론적 작업 (deterministic tasks)이 포함되어 있습니다. 각 작업은 세 번씩 실행되어 모델당 72회의 점수 산정 시도가 이루어집니다. 누락된 시도, 제공자 오류, 유효하지 않은 Base64, 출력 제한 (output-cap) 실패, 그리고 잘못된 정답을 포함하는 Base64는 모두 실패로 간주됩니다. Base64로 인코딩된 PNG 프롬프트는 주관적인 쇼케이스 용도로만 포함되었으며 점수에는 절대 포함되지 않습니다.

현재 결과:
GPT-5.6 Sol — 70/72 (97.2%)
Kimi K3 — 63/72 (87.5%)
Claude Sonnet 5 — 49/72 (68.1%)
Gemini 3.5 Flash — 46/72 (63.9%)
DeepSeek V4 Flash — 43/72 (59.7%)
Hy3 (free) — 38/72 (52.8%)
Laguna S 2.1 (free) — 31/72 (43.1%)
Nemotron 3 Nano 30B A3B (free) — 23/72 (31.9%)
Gemma 4 26B A4B IT (free) — 17/72 (23.6%)

제가 예상하지 못했던 한 가지 결과는, 가공되지 않은 인코딩 충실도 (encoding-fidelity) 작업이 35.2%로 가장 어려운 카테고리였던 반면, 코드 추론 (code reasoning)은 74.1%로 가장 쉬웠다는 점입니다. 많은 실패 사례들은 Base64 형식이 잘못된 것이 전혀 아니었습니다. 페이로드 (payload)는 성공적으로 디코딩되었으나 잘못된 정답을 포함하고 있었습니다. 따라서 이 점수는 추론 (reasoning), 정확성 (exactness), 인코딩 (encoding), 엔드포인트 신뢰성 (endpoint reliability), 그리고 추론 한계 (inference limits)가 혼합되어 있습니다. 이러한 혼합이 상관관계 (correlation)를 설명하는 데 도움이 될 수도 있지만, 이를 과도하게 해석하지 말아야 할 가장 강력한 이유이기도 합니다.

가장 결여된 실험은 Base64 요구 사항을 제거한, 대조군으로서의 일반 텍스트 (plain-text) 테스트 세트입니다. 또한 16진수 (hexadecimal) 및 일치하는 무작위 문자열 (random strings)에 대해서도 테스트해보고 싶습니다.

대화형 결과 및 회차별 출력: https://arvidsu.github.io/encode_bench/
출처, 프롬프트, 모델 설정 및 채점 코드: https://github.com/ArvidSU/encode_bench

이 커뮤니티의 의견이 궁금합니다: 인코딩된 생성 (encoded generation)이 실제 일반화 격차 (generalization gap)를 드러내는 것일까요, 아니면 대부분 토크나이저 (tokenizer)/학습 아티팩트 (training artifact)일까요? 그리고 이와 같은 벤치마크가 학습 데이터에 포함됨에 따라, 신호 (signal)가 개선될까요, 아니면 단순히 이전과 같은 의미를 갖지 않게 될까요?

제출자: /u/Valuable-Repeat-7347 [link] [comments]