Modellen du betalar för är modellen som svarar
Ett billigare API sparar bara pengar om modellen bakom är den som står på etiketten. Den 11 november 2026 skickade vi samma prompter till varje modell som AIGROW:s endpoint säljer och till samma modell hos tillverkaren, och jämförde svaren. Alla 9 stämde överens, och två linjer som inte gjorde det togs ur drift.
Körning den 11 november 2026, 14:10 till 14:46 UTC. AIGROW är oberoende av Anthropic, OpenAI, Google och xAI.
- Samma verktygsanrop som hos tillverkaren
- 9 av 9
- Samma prompttokens som hos tillverkaren
- 7 av 9
- Linjer som lägger till egen kontext
- 2
- Linjer som togs bort efter underkänt resultat
- 2
- Testade API-säljare med rabatt
- 12
Claude mot Anthropics API; GPT, Gemini och Grok via OpenRouter
AIGROW kontrollerar varje modell som dess API säljer mot samma modell hos tillverkaren: 12 frågor med ett rätt svar, ett verktygsanrop och de prompttokens som rapporteras för en fast prompt. Den 11 november 2026 stämde alla 9 modeller till salu överens. Resultaten, testsviten och ett skript som upprepar testet finns nedan.
Vad körningen visade
En modell stämmer överens när den svarar på testsviten som tillverkarens modell, gör samma verktygsanrop och rapporterar samma prompttokens som tillverkaren.
Alla 9 modeller i försäljning nådde tillverkarens resultat i testbatteriet, plus minus ett objekt.
8 fick ett resultat inom en uppgift från tillverkarens körning utan att någon inställning ändrats. Gemini 4 Argon fick 7 av 12 på det sättet och 12 av 12 med en resonemangsnivå angiven i begäran, där Googles modell fick 11.
En svagare modell under ett starkare namn klarar det inte: linjer vi underkände fick 0 och 4 av 12.
I november 2026 köpte vi kredit från 12 säljare av rabatterade API:er och körde de här kontrollerna på det de säljer. Var och en av de 12 hade minst en linje som föll igenom. En linje som såldes som Claude Opus 5.5 fick 4 av 12 och en som såldes som Claude Sonnet 5.5 fick 0, där Anthropics modeller får 12.
För samma prompt rapporterade 7 av 9 modeller exakt de prompt-tokens som tillverkaren rapporterar.
De övriga 2 raderna lägger ett eget sammanhang framför prompten: upp till 258 tokens på Gemini 4 Argon och 2 094 på 3 av de 8 anropen till Grok 4.7. En rad som vi underkände rapporterade cirka 12 500 prompttokens för ett verktygsanrop på cirka 100.
2 linjer föll igenom i den här körningen och hanterar inte längre förfrågningar.
En reservlinje för GPT-6.1 Sol fick 0 av 12 där OpenAI:s modell får 12, så GPT-6.1 Sol har nu en linje och returnerar ett fel när den linjen ligger nere. Grok 4.3 rapporterade 21 prompt-tokens där xAI:s endpoint rapporterar 197 och svarade på en fråga om sig själv med en fast mening, så den är borttagen från försäljning. Grok 4.7 är den Grok som säljs.
Varje modell bredvid sin tillverkare
Poängen är antalet rätta svar i testsviten; Grok 4.7 fick 5 av de 12 uppgifterna. Prompttokens är de som rapporterades för samma tre prompter: ett svar på två ord, fyra korta frågor och ett verktygsanrop.
| Modell | Här | Hos tillverkaren | Prompt-tokens | Verktygsanrop |
|---|---|---|---|---|
| Jämfört med Anthropics API | ||||
| Claude Fable 5.2 | 12 av 12 | 12 av 12 | Samma | Samma |
| Claude Opus 5.5 | 12 av 12 | 12 av 12 | Samma | Samma |
| Claude Sonnet 5.5 | 12 av 12 | 12 av 12 | Samma | Samma |
| Claude Fable 5.1 | 12 av 12 | 12 av 12 | Samma | Samma |
| Jämfört med samma modell via OpenRouter | ||||
| GPT-6 Astra | 12 av 12 | 12 av 12 | Samma | Samma |
| GPT-6.1 Sol | 12 av 12 | 12 av 12 | Samma | Samma |
| GPT-6.1 Terra | 11 av 1212 av 12 med nivån inställd på hög | 12 av 1211 av 12 med nivån inställd på hög | Samma | Samma |
| Grok 4.7 | 5 av 5 | 5 av 5 | Upp till 2 094 fler | Samma |
| Gemini 4 Argon | 7 av 1212 av 12 med nivån inställd på låg | 11 av 126 av 12 med nivån inställd på låg | Upp till 258 fler | Samma |
En modell förblir i försäljning när dess bästa körning här ligger inom ett objekt från tillverkarens, dess verktygsanrop är detsamma, dess tänkeblock är signerat där tillverkaren signerar ett, och dess prompttokens stämmer med tillverkarens eller skiljer sig genom linjens egen kontext, vilket den här sidan redovisar.
Testsviten
12 frågor med ett rätt svar vardera, skickade i ett meddelande utan verktyg. En modell måste resonera sig fram till dem, och en modell som gissar får några rätt. Prompten visas exakt som modellerna fick den.
Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators). 1: Sum of the decimal digits of 2^200. 2: Number of integer partitions of 50. 3: Number of twin prime pairs (p, p+2) with p < 3000. 4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]]. 5: Day of the week (English) of 17 March 2031. 6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC". 7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m). 8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits. 9: 7^222 mod 1009. 10: How many integers from 1 to 10000 have digit sum 19. 11: Number of derangements of 10 elements. 12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".
- Exakta svar
- En rad räknas när den är lika med det förväntade svaret. Claude kördes med adaptivt tänkande. De andra modellerna kördes med de inställningar deras endpoint utgår från, och igen med en angiven resonemangsnivå där de två sidorna började olika.
- Prompt-tokens
- Den användning varje endpoint rapporterar för tre fasta prompter. Modellens tokenizer avgör antalet, så en annan tillverkares modell rapporterar ett annat tal, och en dold instruktion ökar det.
- Verktygsanrop
- En begäran med ett väderverktyg som tar en stad och en enhet. Argumenten måste vara de som tillverkarens modell returnerar.
- Signerat tänkande
- Anthropic signerar tänkandeblocket i ett Claude-svar. Varje Claude-svar här kom tillbaka med det blocket och dess signatur.
- Referensen
- Claude jämfördes med Anthropics API, anropat med vår egen nyckel. GPT, Gemini och Grok jämfördes med samma modell via OpenRouter, en offentlig router.
- När
- Mellan 14:10 och 14:46 UTC den 11 november 2026. Varje anrop var en ny konversation, strömmades och gick till den linje som serverar modellen, före endpointens egen redovisning.
Där en linje skiljer sig från tillverkaren
Samma modell kan köras med olika inställningar. Det här är skillnaderna som körningen mätte, med vad var och en betyder för fakturan.
- Claude anropad direkt
- Vid ett direkt API-anrop med adaptivt tänkande tänkte Claude-linjen längre än Anthropics endpoint vid vissa körningar. Under 8 körningar av testbatteriet använde Claude Opus 5.5 här 2 982 till 31 999 utdatatokens, mot 2 883 till 7 903 under 5 körningar hos Anthropic. Ett svar från Claude Sonnet 5.5 nådde 46 822 utdatatokens med max_tokens satt till 32 000, och vissa anrop rapporterade 724 fler prompttokens än Anthropic gör för samma prompt. Claude-linjen stoppar texten vid den max_tokens som en begäran anger, så endpointen debiterar ingen Claude-utdata efter den gränsen. Inom gränsen debiteras utdata och de prompttokens enligt rapporterade värden, så ett direkt anrop som tänker längre kostar mer.
- Claude via Claude Code
- Skickat av Claude Code med medelhög nivå krävde testbatteriet 1 438 utdata-tokens på Claude Opus 5.5 och 1 992 på Claude Fable 5.2, mot 5 564 och 1 578 hos Anthropic, med rätt svar överallt på båda sidor.
- Resonemangsnivå
- Linjerna GPT-6.1 Terra och Gemini 4 Argon utgår från en lägre ansträngningsnivå än tillverkarens egen endpoint när förfrågan inte anger någon. GPT-6.1 Terra fick på så sätt 11 av 12 rätt, och 12 med ansträngningsnivån inställd på high. Gemini 4 Argon fick 7 och därefter 12 med nivån inställd. Ange reasoning_effort i förfrågan när uppgiften kräver det.
- Utdatagräns
- GPT-linjerna och Grok 4.7-linjen stoppar inte vid max_tokens. När vi senare samma dag bad om en lång essä med max_tokens satt till 300 returnerade var och en hela essän, 2 370 till 4 538 utdatatokens, medan OpenAI:s och xAI:s endpoints stoppar vid gränsen. Dessa svar debiteras som de levereras, så ange önskad längd i prompten. Claude och Gemini 4 Argon stoppar vid gränsen, och Gemini 4 Argon höjer en gräns under 128 tokens till 128.
- Tillagd kontext
- Två linjer sätter egna tokens framför prompten, och endpointen drar av dem från den användning den visar och fakturerar: 288 för Gemini 4 Argon och 1 200 för Grok 4.7, nära de 1 247 prompttokens som xAI:s egen endpoint rapporterar för en prompt på två ord. De anrop med Grok 4.7 som rapporterade fler fakturerades för resten. Tabellen visar varje linjes eget antal, före avdraget, så skriptet som körs via endpointen rapporterar färre prompttokens än tillverkaren för dessa två modeller.
Kör kontrollen själv
En fil för Node 18 eller senare, utan beroenden. Den skickar testsviten, en kort prompt och ett verktygsanrop till en endpoint, och även till tillverkaren när du anger en tillverkarnyckel.
Den här endpointen
Skriver ut poängen, prompttokens och argumenten i verktygsanropet.
MODEL_CHECK_KEY=ag_your_key node model-check.mjs claude-opus-5.5Bredvid tillverkaren
Med en Anthropic-nyckel för Claude, eller en OpenRouter-nyckel för GPT, Gemini och Grok, skriver den ut båda sidor och visar var de skiljer sig.
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-ant-your_key node model-check.mjs claude-opus-5.5
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-or-your_key node model-check.mjs gpt-6.1-solVarje förfrågan debiteras som vanligt. Testsviten är den dyra delen: några cent i kredit på de flesta modeller, mer när en modell tänker länge. Om du vill testa en annan säljares API anger du dess adress med --base.
Vad den här sidan inte påstår
- En dag
- Resultaten gäller den 11 november 2026. Leverantörsleden ändras, så kontrollen körs om för varje modell i försäljning under första veckan varje månad, innan en modell flyttas till en ny led och innan en ny modell tas till försäljning, och en modell som inte klarar den tas bort från försäljning samma dag. Den här sidan visar datumet för den senaste körningen.
- Modeller från samma tillverkare
- Två starka modeller från samma tillverkare kan båda få alla uppgifter rätt och räkna tokens på samma sätt. Testsviten skiljer en modell från en svagare ersättare och från en annan tillverkares modell. Den kan inte avgöra vilken av två modeller som båda klarar den som gav svaret.
- Tolv uppgifter
- En kort testsvit fångar upp en svagare modell men missar små skillnader. Resultaten 11 och 12 är samma utfall här.
- Offentliga uppgifter
- Uppgifterna och deras svar finns i skriptet, så en säljare skulle kunna trimma en linje efter dem. Ändra siffrorna i skriptet för att skapa en testsvit som ingen har sett.
- Referensen
- Bara Claude jämfördes direkt med tillverkarens API. GPT, Gemini och Grok jämfördes via OpenRouter, utan någon egen nyckel hos OpenAI, Google eller xAI.
- Var modellerna körs
- AIGROW levererar varje modell via kapacitet som köps från mer än en källa, och namnger dem inte. Inställningar som den ursprungliga ansträngningsnivån för resonemang kan skilja sig från tillverkarens endpoint, som avsnittet ovan visar.
- Ingen koppling
- AIGROW är oberoende av Anthropic, OpenAI, Google och xAI. Deras namn anger vad endpointen levererar och antyder inget partnerskap eller någon rekommendation.
Frågor om äkta modeller
9 modeller, var och en kontrollerad mot sin tillverkare.
Börja med paketet för 25 US$ och kör sedan skriptet med din egen nyckel.
Modellkontroll 11 november 2026 · resultat och skript på den här sidan