Modellkontroll

Modellen du betalar för är modellen som svarar

Ett billigare API sparar bara pengar om modellen bakom är den som står på etiketten. Den 11 november 2026 skickade vi samma prompter till varje modell som AIGROW:s endpoint säljer och till samma modell hos tillverkaren, och jämförde svaren. Alla 9 stämde överens, och två linjer som inte gjorde det togs ur drift.

Körning den 11 november 2026, 14:10 till 14:46 UTC. AIGROW är oberoende av Anthropic, OpenAI, Google och xAI.

Modellkontroll 11 november 2026
9 av 9modeller till salu stämde överens med tillverkaren
Samma verktygsanrop som hos tillverkaren
9 av 9
Samma prompttokens som hos tillverkaren
7 av 9
Linjer som lägger till egen kontext
2
Linjer som togs bort efter underkänt resultat
2
Testade API-säljare med rabatt
12

Claude mot Anthropics API; GPT, Gemini och Grok via OpenRouter

AIGROW kontrollerar varje modell som dess API säljer mot samma modell hos tillverkaren: 12 frågor med ett rätt svar, ett verktygsanrop och de prompttokens som rapporteras för en fast prompt. Den 11 november 2026 stämde alla 9 modeller till salu överens. Resultaten, testsviten och ett skript som upprepar testet finns nedan.

Vad körningen visade

En modell stämmer överens när den svarar på testsviten som tillverkarens modell, gör samma verktygsanrop och rapporterar samma prompttokens som tillverkaren.

  1. Alla 9 modeller i försäljning nådde tillverkarens resultat i testbatteriet, plus minus ett objekt.

    8 fick ett resultat inom en uppgift från tillverkarens körning utan att någon inställning ändrats. Gemini 4 Argon fick 7 av 12 på det sättet och 12 av 12 med en resonemangsnivå angiven i begäran, där Googles modell fick 11.

  2. En svagare modell under ett starkare namn klarar det inte: linjer vi underkände fick 0 och 4 av 12.

    I november 2026 köpte vi kredit från 12 säljare av rabatterade API:er och körde de här kontrollerna på det de säljer. Var och en av de 12 hade minst en linje som föll igenom. En linje som såldes som Claude Opus 5.5 fick 4 av 12 och en som såldes som Claude Sonnet 5.5 fick 0, där Anthropics modeller får 12.

  3. För samma prompt rapporterade 7 av 9 modeller exakt de prompt-tokens som tillverkaren rapporterar.

    De övriga 2 raderna lägger ett eget sammanhang framför prompten: upp till 258 tokens på Gemini 4 Argon och 2 094 på 3 av de 8 anropen till Grok 4.7. En rad som vi underkände rapporterade cirka 12 500 prompttokens för ett verktygsanrop på cirka 100.

  4. 2 linjer föll igenom i den här körningen och hanterar inte längre förfrågningar.

    En reservlinje för GPT-6.1 Sol fick 0 av 12 där OpenAI:s modell får 12, så GPT-6.1 Sol har nu en linje och returnerar ett fel när den linjen ligger nere. Grok 4.3 rapporterade 21 prompt-tokens där xAI:s endpoint rapporterar 197 och svarade på en fråga om sig själv med en fast mening, så den är borttagen från försäljning. Grok 4.7 är den Grok som säljs.

Varje modell bredvid sin tillverkare

Poängen är antalet rätta svar i testsviten; Grok 4.7 fick 5 av de 12 uppgifterna. Prompttokens är de som rapporterades för samma tre prompter: ett svar på två ord, fyra korta frågor och ett verktygsanrop.

Resultat av modellkontrollen 11 november 2026
ModellHärHos tillverkarenPrompt-tokensVerktygsanrop
Jämfört med Anthropics API
Claude Fable 5.212 av 1212 av 12SammaSamma
Claude Opus 5.512 av 1212 av 12SammaSamma
Claude Sonnet 5.512 av 1212 av 12SammaSamma
Claude Fable 5.112 av 1212 av 12SammaSamma
Jämfört med samma modell via OpenRouter
GPT-6 Astra12 av 1212 av 12SammaSamma
GPT-6.1 Sol12 av 1212 av 12SammaSamma
GPT-6.1 Terra11 av 1212 av 12 med nivån inställd på hög12 av 1211 av 12 med nivån inställd på högSammaSamma
Grok 4.75 av 55 av 5Upp till 2 094 flerSamma
Gemini 4 Argon7 av 1212 av 12 med nivån inställd på låg11 av 126 av 12 med nivån inställd på lågUpp till 258 flerSamma

En modell förblir i försäljning när dess bästa körning här ligger inom ett objekt från tillverkarens, dess verktygsanrop är detsamma, dess tänkeblock är signerat där tillverkaren signerar ett, och dess prompttokens stämmer med tillverkarens eller skiljer sig genom linjens egen kontext, vilket den här sidan redovisar.

Testsviten

12 frågor med ett rätt svar vardera, skickade i ett meddelande utan verktyg. En modell måste resonera sig fram till dem, och en modell som gissar får några rätt. Prompten visas exakt som modellerna fick den.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".
Exakta svar
En rad räknas när den är lika med det förväntade svaret. Claude kördes med adaptivt tänkande. De andra modellerna kördes med de inställningar deras endpoint utgår från, och igen med en angiven resonemangsnivå där de två sidorna började olika.
Prompt-tokens
Den användning varje endpoint rapporterar för tre fasta prompter. Modellens tokenizer avgör antalet, så en annan tillverkares modell rapporterar ett annat tal, och en dold instruktion ökar det.
Verktygsanrop
En begäran med ett väderverktyg som tar en stad och en enhet. Argumenten måste vara de som tillverkarens modell returnerar.
Signerat tänkande
Anthropic signerar tänkandeblocket i ett Claude-svar. Varje Claude-svar här kom tillbaka med det blocket och dess signatur.
Referensen
Claude jämfördes med Anthropics API, anropat med vår egen nyckel. GPT, Gemini och Grok jämfördes med samma modell via OpenRouter, en offentlig router.
När
Mellan 14:10 och 14:46 UTC den 11 november 2026. Varje anrop var en ny konversation, strömmades och gick till den linje som serverar modellen, före endpointens egen redovisning.

Där en linje skiljer sig från tillverkaren

Samma modell kan köras med olika inställningar. Det här är skillnaderna som körningen mätte, med vad var och en betyder för fakturan.

Claude anropad direkt
Vid ett direkt API-anrop med adaptivt tänkande tänkte Claude-linjen längre än Anthropics endpoint vid vissa körningar. Under 8 körningar av testbatteriet använde Claude Opus 5.5 här 2 982 till 31 999 utdatatokens, mot 2 883 till 7 903 under 5 körningar hos Anthropic. Ett svar från Claude Sonnet 5.5 nådde 46 822 utdatatokens med max_tokens satt till 32 000, och vissa anrop rapporterade 724 fler prompttokens än Anthropic gör för samma prompt. Claude-linjen stoppar texten vid den max_tokens som en begäran anger, så endpointen debiterar ingen Claude-utdata efter den gränsen. Inom gränsen debiteras utdata och de prompttokens enligt rapporterade värden, så ett direkt anrop som tänker längre kostar mer.
Claude via Claude Code
Skickat av Claude Code med medelhög nivå krävde testbatteriet 1 438 utdata-tokens på Claude Opus 5.5 och 1 992 på Claude Fable 5.2, mot 5 564 och 1 578 hos Anthropic, med rätt svar överallt på båda sidor.
Resonemangsnivå
Linjerna GPT-6.1 Terra och Gemini 4 Argon utgår från en lägre ansträngningsnivå än tillverkarens egen endpoint när förfrågan inte anger någon. GPT-6.1 Terra fick på så sätt 11 av 12 rätt, och 12 med ansträngningsnivån inställd på high. Gemini 4 Argon fick 7 och därefter 12 med nivån inställd. Ange reasoning_effort i förfrågan när uppgiften kräver det.
Utdatagräns
GPT-linjerna och Grok 4.7-linjen stoppar inte vid max_tokens. När vi senare samma dag bad om en lång essä med max_tokens satt till 300 returnerade var och en hela essän, 2 370 till 4 538 utdatatokens, medan OpenAI:s och xAI:s endpoints stoppar vid gränsen. Dessa svar debiteras som de levereras, så ange önskad längd i prompten. Claude och Gemini 4 Argon stoppar vid gränsen, och Gemini 4 Argon höjer en gräns under 128 tokens till 128.
Tillagd kontext
Två linjer sätter egna tokens framför prompten, och endpointen drar av dem från den användning den visar och fakturerar: 288 för Gemini 4 Argon och 1 200 för Grok 4.7, nära de 1 247 prompttokens som xAI:s egen endpoint rapporterar för en prompt på två ord. De anrop med Grok 4.7 som rapporterade fler fakturerades för resten. Tabellen visar varje linjes eget antal, före avdraget, så skriptet som körs via endpointen rapporterar färre prompttokens än tillverkaren för dessa två modeller.

Kör kontrollen själv

En fil för Node 18 eller senare, utan beroenden. Den skickar testsviten, en kort prompt och ett verktygsanrop till en endpoint, och även till tillverkaren när du anger en tillverkarnyckel.

Den här endpointen

Skriver ut poängen, prompttokens och argumenten i verktygsanropet.

MODEL_CHECK_KEY=ag_your_key node model-check.mjs claude-opus-5.5

Bredvid tillverkaren

Med en Anthropic-nyckel för Claude, eller en OpenRouter-nyckel för GPT, Gemini och Grok, skriver den ut båda sidor och visar var de skiljer sig.

MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-ant-your_key node model-check.mjs claude-opus-5.5
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-or-your_key node model-check.mjs gpt-6.1-sol

Ladda ned model-check.mjs

Varje förfrågan debiteras som vanligt. Testsviten är den dyra delen: några cent i kredit på de flesta modeller, mer när en modell tänker länge. Om du vill testa en annan säljares API anger du dess adress med --base.

Vad den här sidan inte påstår

En dag
Resultaten gäller den 11 november 2026. Leverantörsleden ändras, så kontrollen körs om för varje modell i försäljning under första veckan varje månad, innan en modell flyttas till en ny led och innan en ny modell tas till försäljning, och en modell som inte klarar den tas bort från försäljning samma dag. Den här sidan visar datumet för den senaste körningen.
Modeller från samma tillverkare
Två starka modeller från samma tillverkare kan båda få alla uppgifter rätt och räkna tokens på samma sätt. Testsviten skiljer en modell från en svagare ersättare och från en annan tillverkares modell. Den kan inte avgöra vilken av två modeller som båda klarar den som gav svaret.
Tolv uppgifter
En kort testsvit fångar upp en svagare modell men missar små skillnader. Resultaten 11 och 12 är samma utfall här.
Offentliga uppgifter
Uppgifterna och deras svar finns i skriptet, så en säljare skulle kunna trimma en linje efter dem. Ändra siffrorna i skriptet för att skapa en testsvit som ingen har sett.
Referensen
Bara Claude jämfördes direkt med tillverkarens API. GPT, Gemini och Grok jämfördes via OpenRouter, utan någon egen nyckel hos OpenAI, Google eller xAI.
Var modellerna körs
AIGROW levererar varje modell via kapacitet som köps från mer än en källa, och namnger dem inte. Inställningar som den ursprungliga ansträngningsnivån för resonemang kan skilja sig från tillverkarens endpoint, som avsnittet ovan visar.
Ingen koppling
AIGROW är oberoende av Anthropic, OpenAI, Google och xAI. Deras namn anger vad endpointen levererar och antyder inget partnerskap eller någon rekommendation.

Frågor om äkta modeller

Den 11 november 2026 fick var och en av de 9 modellerna i försäljning exakt samma frågor som samma modell hos tillverkaren. Samtliga nådde tillverkarens resultat, plus minus ett objekt, på frågor med ett enda rätt svar (Gemini 4 Argon med en resonemangsnivå inställd i begäran), och gjorde samma verktygsanrop. 7 rapporterade exakt tillverkarens antal promptTokens. Tabellen på den här sidan visar varje resultat.

Säljaren skickar din begäran till en billigare modell och returnerar svaret under det namn du bad om. Modellnamnet i ett svar är vad säljaren själv skriver dit, så det bevisar ingenting. Frågor med ett enda rätt svar gör det: de linjer vi underkände fick 0 och 4 av 12, där tillverkarens modell får 12.

Skicka frågor med ett enda rätt svar som en svagare modell svarar fel på, skicka samma prompt till tillverkaren och jämför tre saker: resultatet, antalet rapporterade prompt-tokens och argumenten i ett verktygsanrop. Skriptet på den här sidan gör det för alla OpenAI-kompatibla eller Anthropic-kompatibla endpoints.

Den slutar att ta emot begäranden. Den 11 november 2026 fick en reservlinje för GPT-6.1 Sol 0 av 12 och togs bort, och Grok 4.3 drogs tillbaka från försäljning eftersom dess tokenantal inte stämde med xAI:s endpoint.

För Claude, ja: Anthropics API, med vår egen nyckel. GPT, Gemini och Grok jämfördes med samma modell via OpenRouter, en offentlig router. AIGROW är oberoende av alla fyra tillverkare.

Nej. En linje kan utgå från en annan resonemangsnivå än tillverkarens endpoint, och 2 linjer lägger till egen kontext, som endpointen drar av från fakturan. Avsnittet om vad som skiljer sig listar varje fall med siffror.

9 modeller, var och en kontrollerad mot sin tillverkare.

Börja med paketet för 25 US$ och kör sedan skriptet med din egen nyckel.

Modellkontroll 11 november 2026 · resultat och skript på den här sidan