Modeltjek

Den model, du betaler for, er den model, der svarer

En billigere API sparer kun penge, hvis modellen bag den er den, der står på etiketten. Den 11. november 2026 sendte vi de samme prompts til hver model, som AIGROW-endpointet sælger, og til den samme model hos producenten, og sammenlignede svarene. Alle 9 stemte overens, og to linjer, der ikke gjorde, blev taget ud af drift.

Kørsel den 11. november 2026, 14:10 til 14:46 UTC. AIGROW er uafhængig af Anthropic, OpenAI, Google og xAI.

Modeltjek den 11. november 2026
9 af 9modeller til salg stemte overens med deres producent
Samme værktøjskald som producenten
9 af 9
Samme prompttokens som producenten
7 af 9
Linjer, der tilføjer egen kontekst
2
Linjer fjernet efter dumpet test
2
Testede API-sælgere med rabat
12

Claude mod Anthropics API; GPT, Gemini og Grok via OpenRouter

AIGROW kontrollerer hver model, dens API sælger, mod den samme model hos producenten: 12 spørgsmål med ét rigtigt svar, et værktøjskald og de prompttokens, der rapporteres for en fast prompt. Den 11. november 2026 stemte alle 9 modeller til salg overens. Resultaterne, testsættet og et script, der gentager testen, finder du nedenfor.

Hvad kørslen viste

En model stemmer overens, når den besvarer testsættet som producentens model, foretager det samme værktøjskald og rapporterer de prompttokens, som producenten rapporterer.

  1. Alle 9 modeller, der er til salg, nåede udviklerens score på testsættet, plus minus ét punkt.

    8 scorede inden for ét punkt af udviklerens kørsel uden ændrede indstillinger. Gemini 4 Argon scorede 7 af 12 på den måde og 12 af 12 med en reasoning-indsats angivet i forespørgslen, hvor Googles model scorede 11.

  2. En svagere model under et stærkere navn dumper: de linjer, vi afviste, scorede 0 og 4 af 12.

    I november 2026 købte vi kredit hos 12 API-sælgere med rabat og kørte disse tjek på det, de sælger. Alle 12 havde mindst én linje, der dumpede. Én linje solgt som Claude Opus 5.5 scorede 4 af 12, og én solgt som Claude Sonnet 5.5 scorede 0, hvor Anthropics modeller scorer 12.

  3. For den samme forespørgsel rapporterede 7 af 9 modeller præcis de prompt-tokens, deres udvikler rapporterer.

    De øvrige 2 linjer sætter deres egen kontekst foran prompten: op til 258 tokens på Gemini 4 Argon og 2.094 ved 3 af de 8 kald til Grok 4.7. Én linje, vi afviste, rapporterede omkring 12.500 prompttokens for et værktøjskald på omkring 100.

  4. 2 linjer dumpede i denne kørsel og besvarer ikke længere forespørgsler.

    En reservelinje til GPT-6.1 Sol scorede 0 af 12, hvor OpenAIs model scorer 12, så GPT-6.1 Sol har nu én linje og returnerer en fejl, når den linje er nede. Grok 4.3 rapporterede 21 prompt-tokens, hvor xAI's endpoint rapporterer 197, og besvarede et spørgsmål om sig selv med en fast sætning, så den er taget af markedet. Grok 4.7 er den Grok, der sælges.

Hver model ved siden af sin producent

Scoren er antallet af rigtige svar i testsættet; Grok 4.7 fik sendt 5 af de 12 opgaver. Prompttokens er dem, der rapporteres for de samme tre prompts: et svar på to ord, fire korte spørgsmål og et værktøjskald.

Resultater af modeltjekket den 11. november 2026
ModelHerHos producentenPrompt-tokensVærktøjskald
Sammenlignet med Anthropics API
Claude Fable 5.212 af 1212 af 12EnsEns
Claude Opus 5.512 af 1212 af 12EnsEns
Claude Sonnet 5.512 af 1212 af 12EnsEns
Claude Fable 5.112 af 1212 af 12EnsEns
Sammenlignet med den samme model via OpenRouter
GPT-6 Astra12 af 1212 af 12EnsEns
GPT-6.1 Sol12 af 1212 af 12EnsEns
GPT-6.1 Terra11 af 1212 af 12 med indsatsen sat til høj12 af 1211 af 12 med indsatsen sat til højEnsEns
Grok 4.75 af 55 af 5Op til 2.094 flereEns
Gemini 4 Argon7 af 1212 af 12 med indsatsen sat til lav11 af 126 af 12 med indsatsen sat til lavOp til 258 flereEns

En model forbliver til salg, når dens bedste kørsel her ligger inden for ét punkt fra udviklerens, dens værktøjskald er det samme, dens tænkeblok er signeret, hvor udvikleren signerer en, og dens prompttokens svarer til udviklerens eller afviger på grund af linjens egen kontekst, som denne side redegør for.

Testsættet

12 spørgsmål med ét rigtigt svar hver, sendt i én besked uden værktøjer. En model skal ræsonnere sig frem til dem, og en model, der gætter, rammer et par stykker. Prompten vises præcis, som modellerne modtog den.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".
Præcise svar
En linje tæller, når den er lig med det forventede svar. Claude kørte med adaptiv tænkning. De andre modeller kørte med de indstillinger, deres endpoint starter med, og igen med en angivet reasoning-indsats, hvor de to sider startede forskelligt.
Prompt-tokens
Det forbrug, hvert endpoint rapporterer for tre faste forespørgsler. En models tokenizer afgør antallet, så en anden udviklers model rapporterer et andet tal, og en skjult instruktion lægger sig oven i.
Værktøjskald
Én forespørgsel med et vejrværktøj, der tager en by og en enhed. Argumenterne skal være dem, udviklerens model returnerer.
Signeret tænkning
Anthropic signerer tænkeblokken i et Claude-svar. Hvert Claude-svar her kom tilbage med den blok og dens signatur.
Referencen
Claude blev sammenlignet med Anthropics API, kaldt med vores egen nøgle. GPT, Gemini og Grok blev sammenlignet med den samme model via OpenRouter, en offentlig router.
Hvornår
Mellem 14:10 og 14:46 UTC den 11. november 2026. Hvert kald var en ny samtale, blev streamet og gik til den linje, der betjener modellen, før endpointets egen opgørelse.

Hvor en linje afviger fra sin producent

Den samme model kan køre med forskellige indstillinger. Det er de forskelle, kørslen målte, med hvad hver af dem betyder for regningen.

Claude kaldt direkte
Ved et direkte API-kald med adaptiv tænkning tænkte Claude-linjen længere end Anthropics endpoint i nogle kørsler. Over 8 kørsler af testbatteriet brugte Claude Opus 5.5 her 2.982 til 31.999 output-tokens, mod 2.883 til 7.903 over 5 kørsler hos Anthropic. Ét svar fra Claude Sonnet 5.5 nåede op på 46.822 output-tokens ved en max_tokens på 32.000, og nogle kald rapporterede 724 flere prompt-tokens, end Anthropic gør for den samme prompt. Claude-linjen afbryder teksten ved den max_tokens, en forespørgsel angiver, så endpointet fakturerer ingen Claude-output ud over den. Inden for grænsen faktureres output og de prompt-tokens som rapporteret, så et direkte kald, der tænker længere, koster mere.
Claude via Claude Code
Sendt af Claude Code med middel indsats tog testsættet 1.438 output-tokens på Claude Opus 5.5 og 1.992 på Claude Fable 5.2, mod 5.564 og 1.578 hos Anthropic, med alle svar rigtige på begge sider.
Reasoning-indsats
Linjerne GPT-6.1 Terra og Gemini 4 Argon starter med en lavere indsats end producentens endpoint, når forespørgslen ikke angiver nogen. GPT-6.1 Terra klarede 11 af 12 på den måde og 12 med indsatsen sat til high. Gemini 4 Argon klarede 7 og derefter 12 med indsatsen sat. Angiv reasoning_effort i forespørgslen, når opgaven kræver det.
Outputgrænse
GPT-linjerne og Grok 4.7-linjen stopper ikke ved max_tokens. Da vi senere samme dag bad om et langt essay med max_tokens sat til 300, returnerede hver af dem hele essayet, 2.370 til 4.538 output-tokens, hvor OpenAIs og xAIs endpoints stopper ved grænsen. Disse svar faktureres, som de leveres, så angiv længden i prompten. Claude og Gemini 4 Argon stopper ved grænsen, og Gemini 4 Argon hæver en grænse under 128 tokens til 128.
Tilføjet kontekst
To linjer sætter egne tokens foran prompten, og endpointet trækker dem fra i det forbrug, det viser og fakturerer: 288 på Gemini 4 Argon og 1.200 på Grok 4.7, tæt på de 1.247 prompttokens, som xAI's eget endpoint rapporterer for en prompt på to ord. De Grok 4.7-kald, der rapporterede flere, blev faktureret for resten. Tabellen viser hver linjes eget tal, før fratrækket, så scriptet kørt gennem endpointet rapporterer færre prompttokens end udvikleren på disse to modeller.

Kør tjekket selv

Én fil til Node 18 eller nyere, uden afhængigheder. Den sender testsættet, en kort prompt og et værktøjskald til et endpoint og også til producenten, hvis du angiver en producentnøgle.

Dette endpoint

Udskriver scoren, prompttokens og argumenterne i værktøjskaldet.

MODEL_CHECK_KEY=ag_your_key node model-check.mjs claude-opus-5.5

Ved siden af producenten

Med en Anthropic-nøgle til Claude eller en OpenRouter-nøgle til GPT, Gemini og Grok udskriver den begge sider og viser, hvor de afviger.

MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-ant-your_key node model-check.mjs claude-opus-5.5
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-or-your_key node model-check.mjs gpt-6.1-sol

Download model-check.mjs

Hver forespørgsel faktureres som sædvanligt. Testsættet er det dyre: nogle få cent i kredit på de fleste modeller, mere når en model tænker længe. For at teste en anden sælgers API skal du angive dens adresse med --base.

Hvad denne side ikke påstår

Én dag
Resultaterne er fra den 11. november 2026. Leverandørkæder ændrer sig, så kontrollen køres igen på hver model, der er til salg, i den første uge af hver måned, før en model flyttes til en ny leverandørkæde, og før en ny model kommer til salg. En model, der dumper, tages af markedet samme dag. Denne side viser datoen for den seneste kørsel.
Modeller fra samme producent
To stærke modeller fra samme producent kan begge få alle opgaver rigtige og tælle tokens på samme måde. Testsættet kan skelne en model fra en svagere erstatning og fra en anden producents model. Det kan ikke afgøre, hvilken af to modeller, der begge består, der gav svaret.
Tolv opgaver
Et kort testsæt fanger en svagere model, men overser små forskelle. Et resultat på 11 og et resultat på 12 er det samme udfald her.
Offentlige opgaver
Opgaverne og deres svar står i scriptet, så en sælger kunne tilpasse en linje til dem. Ændr tallene i scriptet for at lave et testsæt, ingen har set.
Referencen
Kun Claude blev sammenlignet direkte med producentens API. GPT, Gemini og Grok blev sammenlignet via OpenRouter, uden en egen nøgle hos OpenAI, Google eller xAI.
Hvor modellerne kører
AIGROW leverer hver model gennem kapacitet, der købes fra flere kilder, og nævner dem ikke. Indstillinger som den indledende reasoning-indsats kan afvige fra producentens endpoint, som afsnittet ovenfor viser.
Ingen tilknytning
AIGROW er uafhængig af Anthropic, OpenAI, Google og xAI. Deres navne angiver, hvad endpointet leverer, og antyder hverken partnerskab eller anbefaling.

Spørgsmål om ægte modeller

Den 11. november 2026 fik hver af de 9 modeller, der er til salg, sendt de samme forespørgsler som den samme model hos udvikleren. Hver eneste nåede udviklerens score, plus minus ét punkt, på spørgsmål med ét rigtigt svar (Gemini 4 Argon med en reasoning effort angivet i forespørgslen), og foretog det samme værktøjskald. 7 rapporterede præcis udviklerens prompttokens. Tabellen på denne side viser hvert resultat.

Sælgeren sender din forespørgsel til en billigere model og returnerer svaret under det navn, du bad om. Modelnavnet i et svar er blot det, sælgeren skriver, så det beviser ingenting. Det gør spørgsmål med ét rigtigt svar: de linjer, vi afviste, scorede 0 og 4 af 12, hvor udviklerens model scorer 12.

Send det spørgsmål med ét rigtigt svar, som en svagere model besvarer forkert, send udvikleren den samme forespørgsel, og sammenlign tre ting: scoren, de rapporterede prompt-tokens og argumenterne i et værktøjskald. Scriptet på siden gør det for ethvert OpenAI-kompatibelt eller Anthropic-kompatibelt endpoint.

Den holder op med at håndtere forespørgsler. Den 11. november 2026 fik en fallback-linje til GPT-6.1 Sol 0 ud af 12 og blev fjernet, og Grok 4.3 blev taget af markedet, fordi dens tokental ikke stemte overens med xAI's endpoint.

For Claude ja: Anthropics API med vores egen nøgle. GPT, Gemini og Grok blev sammenlignet med den samme model via OpenRouter, en offentlig router. AIGROW er uafhængig af alle fire udviklere.

Nej. En linje kan starte med en anden reasoning effort end udviklerens endpoint, og 2 linjer tilføjer deres egen kontekst, som endpointet trækker fra på regningen. Afsnittet om forskellene gennemgår hvert tilfælde med tal.

9 modeller, hver især kontrolleret mod sin producent.

Start med pakken til 25 US$, og kør derefter scriptet med din egen nøgle.

Modeltjek den 11. november 2026 · resultater og script på denne side