제미나이 4 아르곤 열흘 점검: 강점·약점과 아직 못 쓰는 이유

· 작성: moonlang

제미나이 4 아르곤(Gemini 4 Argon)은 Google이 공개한 벤치마크 19개 중 13개에서 단독 1위, 1개에서 공동 1위입니다. 법률·금융 같은 지식 업무와 긴 문서 처리에서 강하고, 코딩은 시험에 따라 이기기도 지기도 합니다. 2026년 10월 11일 기준 일반 사용자와 일반 개발자는 아직 쓸 수 없고, 공개 날짜도 발표되지 않았습니다. 지금 쓰는 도구는 그대로 두고, 공개되면 우리 업무 과제로 할인 종료 후 가격을 따져 비교하면 됩니다.

기본 제원과 초기 발표 내용은 발표 직후 정리한 글에서 다루었습니다. 이번 글에서는 2026년 9월 30일(미국 기준) 발표 이후 열흘 동안 나온 외부 평가와 반응을 모아, 무엇이 확인됐고 무엇이 아직 정해지지 않았는지, 학원 원장과 교사가 지금 정할 일은 무엇인지 정리합니다.

한눈에 보기

  • 업무와 긴 문서 강세, 코딩은 혼선: 법률·금융 등 지식 업무와 긴 문맥 처리(최대 100만 토큰 구간을 재는 GraphWalks 포함)에서는 선두를 차지했으나, 진 5개 항목(코딩 2·과학 1·ML 1·컴퓨터 조작 1)에서는 경쟁 모델에 1위를 내주었습니다. 100만 토큰은 Google이 밝힌 출력 한도입니다.
  • 외부 리더보드 성적: Vals Index 1위(68.90%)와 Arena Text Arena 1위(1,525점)를 기록했으나, Code Arena WebDev 8위, Agent Arena 8위(약 3천 세션 잠정), Artificial Analysis 지수 53점 등 평가 환경에 따라 순위 편차가 큽니다.
  • 환각률 15.1%의 정확한 의미: Artificial Analysis 측정 기준 정답을 맞히지 못한 문항 중 틀린 답을 낸 비율이 15.1%로 낮았으나, 해당 지식 시험의 정답률은 49.9%에 머물렀습니다. 모를 때 틀린 답을 억지로 꾸며내지 않고 답을 아낄 뿐, 모든 질문에 답을 잘 맞히는 것은 아닙니다.
  • 일반 접근 불가: 현재는 사전 승인된 사이버 보안 방어 조직 대상 Fairwind 프로그램을 통해서만 열려 있으며, 개발자와 일반 소비자가 쓸 수 있는 공식 출시 일정은 공지되지 않았습니다.
  • 학원과 교사의 실무 대응: 지금 이용 중인 서비스를 유지하면서, 긴 문서 종합 업무와 코딩 자동화 업무를 분리하고 정상 가격(입력 $4, 출력 $20 per 1M 토큰) 기준으로 비용 대비 효용을 계산해 둘 시점입니다.

Google 발표 표: 이긴 항목과 진 항목

Google이 공개한 공식 벤치마크 표는 총 19개 항목으로 구성되어 있습니다(Google 발표 글, DeepMind 평가 방법론 문서). 제미나이 4 아르곤은 지식 업무, 긴 문맥, 멀티모달 등 13개 항목에서 단독 1위, 사이버 보안 1개 항목에서 공동 1위를 기록했습니다. 반면 코딩, 과학, 머신러닝, 컴퓨터 조작 분야 5개 항목에서는 경쟁 모델보다 점수가 낮았습니다.

분야 벤치마크 Gemini 4 Argon 1위 모델·점수 (Argon 1위 시 비교 모델 중 2위와 차이)
지식 업무 (Knowledge work) Vals Index 68.9% (단독 1위) 2위 Claude Opus 5.5 67.0% (+1.9%p)
지식 업무 (Knowledge work) AutomationBench (Score) 51.3% (단독 1위) 2위 Claude Opus 5.5 42.5% (+8.8%p)
지식 업무 (Knowledge work) Vals Finance Agent v2 65.4% (단독 1위) 2위 Claude Fable 5.1 58.9% (+6.5%p)
지식 업무 (Knowledge work) Harvey’s Legal Agent Benchmark 19.6% (단독 1위) 2위 Claude Fable 5.1 6.7% (+12.9%p)
에이전틱 코딩 (Agentic coding) DeepSWE v1.1 77.9% (단독 1위) 2위 Claude Opus 5.5 74.2% (+3.7%p)
에이전틱 코딩 (Agentic coding) FrontierSWE v2 55.0% 1위 GPT-6 Astra 65.5% (Argon 55.0%, -10.5%p)
에이전틱 코딩 (Agentic coding) Vibe Code Bench 91.9% (단독 1위) 공동 2위 Claude Fable 5.1 / Opus 5.5 90.3% (+1.6%p)
에이전틱 코딩 (Agentic coding) Terminal-bench 4.0 57.4% 1위 Claude Opus 5.5 66.4% (Argon 57.4%, -9.0%p)
머신러닝 엔지니어링 (ML engineering) PostTrainBench 45.3% 1위 Claude Opus 5.5 49.3% (Argon 45.3%, -4.0%p)
과학 및 수학 (Science and math) Terminal-Bench Science 0.1 57.6% 1위 GPT-6 Astra 68.1% (Argon 57.6%, -10.5%p)
과학 및 수학 (Science and math) LABBench 2 88.8% (단독 1위) 2위 GPT-6 Astra 85.4% (+3.4%p)
과학 및 수학 (Science and math) RiemannBench 76.0% (단독 1위) 2위 GPT-6 Astra 72.0% (+4.0%p)
긴 문맥 (Long context) GraphWalks up to 128k BFS (F1) 99.7% (단독 1위) 2위 GPT-6 Astra 98.7% (+1.0%p)
긴 문맥 (Long context) GraphWalks 256k to 1M BFS (F1) 84.2% (단독 1위) 2위 GPT-6 Astra 71.8% (+12.4%p)
컴퓨터 조작 (Computer use) Agent’s Last Exam (Pass rate) 39.5% (단독 1위) 2위 Claude Opus 5.5 38.2% (+1.3%p)
컴퓨터 조작 (Computer use) OSWorld-2.0 (Offline subset, partial score) 69.2% 1위 GPT-6 Astra 72.6% (Argon 69.2%, -3.4%p)
멀티모달 (Multimodal) Chartography 71.6% (단독 1위) 2위 GPT-6 Astra 71.0% (+0.6%p)
멀티모달 (Multimodal) LVBench 91.7% (단독 1위) 2위 GPT-6 Astra 87.5% (+4.2%p)
사이버 보안 (Cybersecurity) CWE-bench v1 68.0% (공동 1위) GPT-6 Astra 68.0% 공동 1위

표의 ‘2위’는 Google이 고른 비교 모델 3종 안에서의 순위입니다. Vals Index 리더보드 전체에서는 Claude Sonnet 5.5(67.04%)가 2위입니다. 비교 모델은 GPT-6 Astra, Claude Fable 5.1, Claude Opus 5.5이며, 비교 대상과 항목은 Google이 고른 것이라는 점을 감안해야 합니다. 지식 업무와 긴 문맥에서는 경쟁 모델을 앞섰지만, 복잡한 소프트웨어 공학 과제인 FrontierSWE v2와 터미널 환경 제어를 측정하는 Terminal-bench 4.0 등 5개 과제에서는 경쟁 모델에 1위를 내주었습니다.

외부 평가는 어떻게 나왔나

Google 자체 집계 표 외에 독립적인 평가 플랫폼과 외부 리더보드 결과는 영역별로 다른 양상을 나타냅니다.

  • Vals Index: Vals Index 리더보드에서 제미나이 4 아르곤은 68.90%의 종합 점수로 1위에 올랐습니다. 2026년 10월 7일 갱신 기준 2위는 Claude Sonnet 5.5(67.04%), 3위는 Claude Opus 5.5(66.97%)입니다. Vals AI 공식 계정에 따르면 평가를 진행한 22개 벤치마크 중 20개에서 상위 5위 안에 진입했으며, 특히 금융·법률·코딩·보안에서 강하다고 밝혔습니다.
  • Artificial Analysis: Artificial Analysis 페이지의 종합 지능 지수인 Intelligence Index v4.3.2에서 아르곤(High)은 53점(반올림 전 52.56)을 기록했습니다. 이는 Claude Opus 5.5(Max 57.62, 약 58점)와 Claude Sonnet 5.5(Max 56.00, 56점)보다 낮고 GPT-6 Astra(Max 52.67, 약 53점)와 대등한 수준입니다.
  • Arena: Arena 공식 계정 발표 기준 Text Arena에서 1,525점으로 1위를 차지했고(2위 Opus 4.6 High 대비 +20점), 코딩, 어려운 질문, 지시 수행, 긴 질의, 창작 글쓰기 부문 1위에 올랐습니다. 반면 실제 웹 환경 코딩 능력을 보는 Code Arena WebDev에서는 8위(1,679점)에 머물렀고, Agent Arena에서도 약 3,000건의 실제 세션을 반영한 잠정 평가에서 8위(+7.92% 순개선 점수)를 기록했습니다.
  • Blueprint-Bench 2: Andon Labs 공식 계정이 주관하는 평면도 작성 평가(아파트 실내 사진으로 평면도를 그리는 벤치마크)에서 1위를 차지했습니다.

2차 분석 매체인 The New Stack은 이를 종합하여 “코딩은 그럭저럭이지만 지식 업무는 A+”(Coding: so-so. Knowledge work: A+)라는 평가를 제시했습니다. 긴 문서를 정밀하게 읽고 종합하는 작업에는 강하지만, 도구를 활용해 복잡한 개발이나 에이전트 작업을 완결하는 능력에서는 평가 기준에 따라 큰 기복을 보입니다.

‘환각 15%’를 읽는 법

제미나이 4 아르곤 발표 직후 많은 주목을 받은 수치 중 하나는 Artificial Analysis 모델 페이지에 표시된 15.1%의 환각률(Hallucination Rate)이었습니다. 비교 대상인 Claude Fable 5.1(Max 72.6%), Claude Opus 5.5(추론 설정에 따라 High 67.6%~Max 58.6%), GPT-6 Astra(Max 51.3%), Claude Sonnet 5.5(Max 47.0%) 등 상위권 모델들의 환각률이 47~73%에 달했던 것과 대조하면 매우 낮은 수치로 비칩니다.

그러나 평가 정의 문서를 정확히 읽어야 합니다. 여기서 환각률은 ‘전체 답변 중 틀린 답변의 비율’이 아니라, 정답을 내지 못한 문항(오답 + 부분 정답 + 미시도) 중에서 틀린 답을 내놓은 비율(incorrect / (incorrect + partial + not attempted))을 뜻합니다.

실제 해당 AA-Omniscience 지식 시험에서 제미나이 4 아르곤의 정답률(Accuracy)은 49.9%였습니다. 이는 GPT-6 Astra Max(62.6%)나 Claude Opus 5.5 Max(66.2%)보다 낮습니다. 즉, 아르곤이 경쟁 모델보다 더 많은 지식을 알고 있어서가 아니라 “모를 때 틀린 답을 억지로 지어내는 대신 답변을 보류하거나 시도하지 않는 성향”이 강한 것입니다. “모를 때 지어내는 대신 답을 덜 한다”는 동작 특성과 “더 많이 안다”는 것은 전혀 다른 이야기입니다.

수업 준비와 평가를 담당하는 교사와 학원 실무자에게 이는 양면성을 가집니다. 이 시험에서는 모를 때 틀린 답을 내는 경우가 적었지만, 그만큼 답을 하지 않거나 부분적으로만 답한 경우가 많았습니다. 실제 수업 자료에서 어떻게 나타날지는 공개 뒤 직접 확인해야 합니다. 따라서 모델의 출력을 수업 자료로 그대로 제공할 수는 없으며, 교사의 최종 교차 검수 과정이 반드시 수반되어야 합니다. 한편 악의적인 입력에 대응하는 간접 프롬프트 주입(Gray Swan IPI 차트) 평가에서는 15회 시도 기준 공격 성공률이 0.7%로, 같은 차트의 Claude Opus 5.5(1.0%), GPT-6 Astra(8.5%)보다 낮았습니다. Google이 공개한 차트 기준입니다.

왜 아직 못 쓰나

2026년 9월 30일(미국 기준, 한국 시간 10월 1일 새벽) 발표된 모델임에도 열흘이 지난 지금까지 일반 사용자와 교육자가 이 모델을 접할 수 없는 이유는 Google의 단계적 배포 방침 때문입니다.

  • Fairwind 프로그램 전용 선행 배포: Google은 Fairwind 프로그램에 참여한 사이버 보안 방어 조직에만 먼저 모델을 열었고, 조직 안에서도 보안 담당 팀만 쓸 수 있습니다. 참여 조건과 가격은 발표 직후 정리한 글에 정리해 두었습니다.
  • 공개 순서: 유료 API 고객과 Google AI Ultra 구독자부터 출시한 뒤 개발자, 기업, 일반 소비자로 확대할 계획입니다.
  • 모델 카드 현황: 2026년 10월 11일 확인 시점에 DeepMind 공식 모델 카드 목록에 Argon 항목은 아직 등록되지 않았습니다.
  • 최근 확인된 정황: 2026년 10월 9일(미국 기준) Logan Kilpatrick은 X에서 @StatsWire의 지적에 “Argon is coming, fear not :)”라고 답했습니다. 날짜는 밝히지 않았습니다. 2026년 10월 9일(미국 기준) TestingCatalog는 Antigravity(숨김)에서 low, medium, high 추론 옵션을 지닌 Gemini 4 Argon 참조가 추가되었다고 전했으나 공식 공지는 아닙니다. 또한 Business Insider는 Google 직원들이 ‘Carbon’이라는 새 버전을 내부에서 시험 중이고, 한 직원이 “Opus 5.5 같은 느낌(feels like Opus 5.5)”이라고 말했다고 보도했습니다(Techmeme 요약). Google이 확인한 내용은 아닙니다.

반응: 기대와 의심

지난 열흘간 확인한 공개 반응은 크게 두 갈래였습니다.

  • 기대: Vals AI와 Arena 공식 계정이 발표 당일(2026년 9월 30일, 미국 기준) 각각 Vals Index 1위와 Text Arena 1위를 알렸고, 이 결과가 Google이 다시 선두권에 올랐다는 근거로 인용됐습니다.
  • 의심과 피로감: 사람들이 직접 써 볼 수 없는데 벤치마크 맞춤 점수(‘benchmaxxing’)만 내세운다는 비판(@diwakergupta 게시물)과, ‘Gemini 3.5 Pro 때도 곧 나온다고 했다’며 같은 일이 반복된다는 지적(@StatsWire 게시물)이 나왔습니다.

학원·교사가 지금 판단할 것

아직 쓸 수 없는 모델이므로, 지금 할 일은 도구를 바꾸는 것이 아니라 공개됐을 때 바로 비교할 준비를 해 두는 것입니다.

  1. 지금 쓰는 도구를 바꾸지 않는다: 아르곤은 현재 일반 사용자가 쓸 수 없는 상태이므로, 학원에서 지금 쓰는 ChatGPT, Claude, 기본 Gemini 등을 바꾸거나 해지할 이유가 없습니다.
  2. 원내 업무를 성격별로 나눠 적는다: 입시 요강 분석, 학원 학칙 검토, 긴 수험 자료 요약처럼 아르곤이 강점을 보이는 ‘긴 문서·자료 종합’ 업무와, 사이트 기능 수정이나 출결 자동화처럼 ‘코딩·프로그래밍’이 필요한 업무를 분리하여 목록화합니다.
  3. 비교 검증용 자체 과제 3~5개를 미리 만든다: 모델이 출시되었을 때 즉시 테스트할 수 있도록, 실제 학원에서 자주 마주치는 복잡한 과제(예: 복잡한 3개년 입시 요강 비교표 작성, 장문 수능 국어 지문 요약 및 핵심 출제 포인트 추출 등)와 정답 기준을 준비합니다.
  4. 정상 가격 기준으로 비용을 계산한다: 도입 초기 할인가(입력 $2, 출력 $10 per 1M 토큰) 이후 적용될 정가인 입력 $4, 출력 $20 per 1M 토큰(발표 글 각주 1) 기준으로 예산을 잡습니다. 할인 기간은 밝혀지지 않았습니다(가격 상세는 발표 직후 정리한 글 참고).
  5. ‘모르겠다’는 답변 처리 기준을 수립한다: 지식 시험 정답률 특성을 감안하여, 모델이 “답을 알 수 없다”며 작업을 멈추거나 보류할 때 이를 보완할 교사의 검수 단계와 추가 확인 절차를 미리 정해둡니다.
  6. 학생과 학부모의 개인정보 입력 금지 원칙을 지킨다: 어떤 모델이든 원생 성적표, 학부모 상담 내역, 이름, 전화번호 등 식별 가능한 민감 개인정보는 외부 클라우드 AI 시스템에 일체 입력하지 않는 원칙을 지킵니다.

판단 기준 체크리스트:

  • 긴 규정집·입시 자료처럼 여러 문서를 함께 읽고 종합하는 업무 비중이 높은가?
  • 틀린 답을 그럴듯하게 꾸며내는 위험을 피하는 것이, 답변 보류로 인해 누락되는 것보다 더 중요한가?
  • 백만 토큰당 정상 가격(입력 $4, 출력 $20)을 지불하더라도 교직원의 작업 시간 절감 가치가 더 큰가?
  • 코딩 자동화가 주목적일 때 터미널 제어 및 프런티어 코딩 지표의 열세를 확인했는가?

자주 묻는 질문

Q1. 제미나이 4 아르곤을 지금 바로 유료 구독해서 쓸 수 있나요?

아닙니다. 2026년 10월 11일 기준 일반 개발자와 일반 사용자는 이용할 수 없습니다. 현재는 사전 승인된 사이버 보안 방어 조직 대상의 Fairwind 프로그램을 통해서만 접근이 가능합니다. 향후 유료 API 고객과 Google AI Ultra 구독자를 시작으로 순차 제공될 예정이지만 구체적인 정식 공개 날짜는 미정입니다.

Q2. 코딩과 프로그래밍 업무에서도 가장 뛰어난 모델인가요?

그렇지 않습니다. DeepSWE v1.1(77.9%)이나 Vibe Code Bench(91.9%)에서는 1위를 기록했지만, 복잡한 프런티어 과제를 다루는 FrontierSWE v2(55.0% vs GPT-6 Astra 65.5%)와 터미널 환경을 제어하는 Terminal-bench 4.0(57.4% vs Claude Opus 5.5 66.4%)에서는 1위를 내주었습니다. 외부 리더보드인 Code Arena WebDev에서도 8위에 머물러 작업 성격에 따라 성능 편차가 큽니다.

Q3. 환각 15%면 생성된 문제나 해설을 그대로 믿고 써도 되나요?

그대로 믿고 사용해서는 안 됩니다. 15.1%라는 환각률은 ‘정답을 내지 못한 문항 중 틀린 답을 지어낸 비율’을 의미하며, 해당 지식 시험의 정답률은 49.9%에 그쳤습니다. 틀린 답은 적을지언정 문제 해결을 보류하거나 답을 내지 못할 확률이 존재하므로, 생성된 교육 콘텐츠와 채점 결과는 반드시 교사의 세밀한 교차 검증을 거쳐야 합니다.

확인 시각 및 출처

2026년 10월 11일 오전(한국 시간) 확인

1차 출처:

2차 출처:

발표 당시의 기본 제원과 초기 비교는 발표 직후 정리한 글을 참고하시기 바랍니다.