서론
문장을 작성하지 않는 AI인 Gemini Decision 1을 직접 구동해 보았습니다.
이전에 세 가지 모델을 비교한 기사에서는 발표 자료 정리만 다루었습니다. 이번에는 Gemini Decision 1만을 사용하여 AI Studio의 무료 크레딧으로 총 11개의 요청, 54문제를 테스트했습니다. Jev와 Microsoft는 아직 구동하지 않았습니다.
참고로, 속도 수치는 제 PC(Windows)에서 측정한 것을 중심으로 작성했습니다. Muse 환경에서 테스트했을 때는 저녁 시간에 느려졌기 때문에 그 이야기는 나중에 따로 다루겠습니다.
재현용 코드는 아래에 두고 있으며, 테스트 이미지도 여기에 있습니다.
테스트 방법
테스트는 의도적으로 정답을 알고 있는 문제들로만 구성했습니다.
- 워리 찾기 (합성 군중 이미지): 좌표를 반환할 수 없으므로 3x3 그리드에서 '어느 칸인가'를 묻는 형태로 진행했습니다.
- 설계서 검토 (결함 4개를 넣은 가상의 설계서): 목적이 있는지, 비기능 요구사항이 있는지, 숫자가 일치하는지 등 총 8문제로 구성했습니다.
- 도로의 짐 (합성 이미지 2장): 떨어진 짐이 있는지, 길이 통행 가능한지 등을 확인했습니다.
- 곰 감지 (합성된 숲 그림 3장 + AI 생성 사진 같은 이미지 4장): 곰이 있는지, 개와 구별할 수 있는지 등을 테스트했습니다.
질문은 noul(예/아니오), choice(선택지), score(채점)의 세 가지 유형입니다. Gemini Decision 1은 문장을 반환하지 않기 때문에, 선택지별 확률과 확신도만 돌아옵니다.
코드로 호출하는 방법
Decisions API는 일반적인 HTTPS POST 요청입니다. 특별한 SDK가 필요 없습니다.
import json, os, urllib.request
API_KEY = os.environ.get("GEMINI_API_KEY") # 키는 환경 변수에서 가져옵니다. 파일에 직접 작성하지 마세요.
payload = {
...
돌아오는 형식은 다음과 같습니다.
{"answers": {"sky_blue": {"type": "noul", "noul": 0.936, "confidence": 0.936}}}
API 키는 Google AI Studio(https://aistudio.google.com/apikey)에서 얻을 수 있습니다. 54문제를 모두 실행하는 스크립트(standalone_run.py)와 속도만 측정하는 스크립트(latency_probe.py)는 위의 리포지토리에 올려두었습니다.
결과: 54문제 중 53문제 정답
-
워리 찾기: 10/10. 중앙 오른쪽 칸을 확신도 0.93으로 맞혔습니다.
ウォーリー探しの群衆画像
-
설계서 검토: 8/8. 500과 1,000 숫자의 불일치까지 잡아냈습니다(확신도 0.96). 완성도 점수는 1.8로 예상했던 2.0에 근접했습니다.
-
도로의 짐: 8/8. 빈 길과 짐이 떨어진 길 모두 정답입니다.
空の道
荷物が落ちた道
- 곰 사진 같은 이미지: 16/16. 멀리 작게 찍힌 곰도 '곰'이라고 맞혔습니다(확신도 0.78). 개 역시 '곰이 아니다'라고 올바르게 구분했습니다.
近くに写ったクマ
遠くに小さく写ったクマ
イヌ
정오답 여부는 제 PC에서 요청하든 Muse 환경에서 요청하든 동일했습니다. 54문제 중 53문제가 정답이었고, 틀린 문제도 같은 1개였습니다.
틀린 1문제
합성된 개 그림에 '큰 동물이 있습니까?'라고 물었을 때 '없다'고 답했습니다. 다만 '무슨 동물입니까?'라는 질문에는 개라고 정확히 답변했으므로, 개는 보였지만 '크다'고 간주하지 않았던 것 같습니다. 곰을 놓친 것은 아니기 때문에 실용적인 피해는 작다고 생각합니다.
속도: 제 PC에서는 공시(公稱)에 가깝고, Muse 환경에서는 저녁 시간에 느렸습니다
속도 이야기는 측정 장소와 시간에 따라 결과가 달랐습니다. Google 때문인지 Muse 때문인지는 구분하기 어려우므로, 측정한 내용을 나열하겠습니다.
| 언제 | 어디서 | 무엇을 측정했는지 | 결과 |
|---|
| 11/12 오후 4시경 | Muse 환경 | 11건・54문제 | 건당 9~22초, 총 약 152초 |
| ... | | | |
제 PC에서 요청할 경우, 텍스트만으로 된 문의는 0.39초로 Google의 공시(모델 자체로 150~250ms)에 가까운 속도였습니다. 11건 전체를 테스트해도 17.3초입니다. 공시를 부정할 정도의 느린 속도는 아니었습니다.
Muse 환경에서 요청할 경우, 저녁 시간(11/12 오후 45시)에는 건당 922초로 느렸습니다. 하지만 심야 3시경에 재측정했을 때는, 120초를 기다려도 응답이 오지 않는 경우와 0.5초 만에 오는 경우가 몇 분 사이에 뒤섞여 있었습니다. 따라서 '저녁에는 느리고, 심야에는 빠르다'라고 단정할 수는 없습니다. 속도는 상시적이지 않고 간헐적입니다.
분리(切り分け)에 대해 솔직하게 말씀드리겠습니다. 심야 재측정 시에는 연결이 멈추는 단계에서 멈추었습니다. Google에 도달하기 전에 멈췄기 때문에, 그 회차는 Google의 잘못이 아닙니다. 다만, 저녁 시간대의 느린 속도에 대해서는, 연결과 Google의 응답을 분리하여 측정하지 않았기 때문에, Google 측의 혼잡도가 섞여 있었을 가능성을 부정할 수 없습니다.
Muse 환경은 많은 사람이 공유하는 것이므로, 혼잡한 시간대에는 느려질 수 있다는 정도의 이야기라고 생각합니다만, 이것 역시 추측일 뿐 확정한 것은 아닙니다.
저녁에도 한 번 더 연결과 응답을 분리하여 측정할 예정입니다. 결과가 나오면 여기에 추가하겠습니다.
토큰은 총 15,598이었고 출력은 0이었습니다. 무료 사용 범위 내입니다. 도중에 Google 측에서 503 에러를 한 번 반환했습니다. 재시도하니 통과되었습니다.
요약 (まとめ)
- 지정된 선택지의 확률을 반환하는 방식은 예상대로 작동함을 확인했습니다.
- 개와 곰 구별이나, 멀리 있는 작은 대상의 탐지 또한 이 조건에서는 가능했습니다.
- 속도는 환경에 따라 크게 달라집니다. 제 PC에서는 공시(公称)에 가까운 속도였지만, Muse 환경에서는 저녁에 느려졌습니다. 속도에 대한 결론은 어디서 던졌는지에 따라 달라지므로, 환경을 언급하지 않고 이야기하는 것은 위험합니다.
- 다만 샘플 수가 적고 이미지 역시 합성 또는 AI 생성이기 때문에, “Gemini Decision 1이 우수하다”라고 결론 내리기는 이릅니다.
출처 (出典)
토론 (Discussion)
