Het model waarvoor je betaalt, is het model dat antwoordt

Een model blijft in de verkoop als zijn beste run hier binnen één item van die van de maker ligt, de toolaanroep gelijk is, het denkblok is ondertekend waar de maker er een ondertekent, en de prompttokens overeenkomen met die van de maker of alleen verschillen door eigen context van de lijn, die deze pagina vermeldt.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".

Exacte antwoorden

Een regel telt mee als die gelijk is aan het verwachte antwoord. Claude draaide met adaptief redeneren. De andere modellen draaiden met de instellingen waarmee hun endpoint start, en opnieuw met een ingestelde redeneerinspanning waar beide kanten verschillend begonnen.

Prompttokens

Het verbruik dat elk endpoint meldt voor drie vaste prompts. De tokenizer van een model bepaalt de telling, dus het model van een andere maker meldt een ander getal, en een verborgen instructie komt daar nog bovenop.

Toolaanroep

Eén verzoek met een weertool die een stad en een eenheid verwacht. De argumenten moeten die zijn die het model van de maker teruggeeft.

Ondertekend redeneren

Anthropic ondertekent het redeneerblok van een Claude-antwoord. Elk Claude-antwoord hier kwam terug met dat blok en de bijbehorende handtekening.

De referentie

Claude vergeleken we met de API van Anthropic, aangeroepen met onze eigen sleutel. GPT, Gemini en Grok vergeleken we met hetzelfde model via OpenRouter, een openbare router.

Wanneer

Tussen 14:10 en 14:46 UTC op 11 november 2026. Elke aanroep was een nieuw gesprek, werd gestreamd en ging naar de lijn die het model aanbiedt, vóór de eigen boekhouding van het endpoint.

Claude rechtstreeks aangeroepen

Bij een directe API-aanroep met adaptief denken dacht de Claude-lijn in sommige runs langer na dan het endpoint van Anthropic. Over 8 runs van de testreeks gebruikte Claude Opus 5.5 hier 2.982 tot 31.999 outputtokens, tegenover 2.883 tot 7.903 over 5 runs bij Anthropic. Eén antwoord van Claude Sonnet 5.5 liep op tot 46.822 outputtokens bij een max_tokens van 32.000, en sommige aanroepen meldden 724 prompttokens meer dan Anthropic voor dezelfde prompt rapporteert. De Claude-lijn kapt de tekst af bij de max_tokens die een verzoek instelt, dus het endpoint rekent geen Claude-output daarboven aan. Daarbinnen worden output en die prompttokens gefactureerd zoals gerapporteerd, dus een directe aanroep die langer nadenkt kost meer.

Claude via Claude Code

Verstuurd door Claude Code op gemiddelde inspanning kostte de testset 1.438 outputtokens bij Claude Opus 5.5 en 1.992 bij Claude Fable 5.2, tegenover 5.564 en 1.578 bij Anthropic, met aan beide kanten alle antwoorden goed.

Redeneerinspanning

De lijnen GPT-6.1 Terra en Gemini 4 Argon beginnen met minder rekeninspanning dan het endpoint van de maker als het verzoek er geen instelt. GPT-6.1 Terra haalde zo 11 van de 12 en 12 met de inspanning op high. Gemini 4 Argon haalde 7 en daarna 12 met de inspanning ingesteld. Stel reasoning_effort in het verzoek in als de taak erom vraagt.

Outputlimiet

De GPT-lijnen en de Grok 4.7-lijn stoppen niet bij max_tokens. Toen later op dezelfde dag een lang essay werd gevraagd met max_tokens ingesteld op 300, leverde elk het hele essay op, van 2.370 tot 4.538 outputtokens, terwijl de endpoints van OpenAI en xAI bij de limiet stoppen. Die antwoorden worden gefactureerd zoals ze zijn geleverd, dus geef de gewenste lengte aan in de prompt. Claude en Gemini 4 Argon stoppen bij de limiet, en Gemini 4 Argon verhoogt een limiet onder 128 tokens naar 128.

Toegevoegde context

Twee lijnen zetten eigen tokens voor de prompt, en het endpoint haalt die uit het gebruik dat het toont en factureert: 288 bij Gemini 4 Argon en 1.200 bij Grok 4.7, dicht bij de 1.247 prompttokens die het eigen endpoint van xAI meldt voor een prompt van twee woorden. De Grok 4.7-aanroepen die meer meldden, werden voor het restant gefactureerd. De tabel toont per lijn het eigen aantal, vóór die aftrek, waardoor het script via het endpoint bij deze twee modellen minder prompttokens meldt dan de maker.

Eén dag

De resultaten zijn die van 11 november 2026. Aanbieders wisselen, dus de controle wordt opnieuw uitgevoerd op elk model in de verkoop in de eerste week van elke maand, voordat een model naar een nieuwe aanbieder gaat en voordat een nieuw model in de verkoop gaat. Een model dat niet slaagt, wordt dezelfde dag uit de verkoop gehaald. Deze pagina toont de datum van de laatste controle.

Modellen van één maker

Twee sterke modellen van dezelfde maker kunnen allebei elk item goed hebben en tokens op dezelfde manier tellen. De test onderscheidt een model van een zwakkere vervanger en van het model van een andere maker. Ze kan niet vaststellen welk van twee modellen die allebei slagen het antwoord gaf.

Twaalf items

Een korte test vangt een zwakker model op, maar mist kleine verschillen. Een score van 11 en een score van 12 zijn hier hetzelfde resultaat.

Openbare items

De items en hun antwoorden staan in het script, dus een verkoper zou een lijn erop kunnen afstemmen. Pas de getallen in het script aan om een test te maken die niemand kent.

De referentie

Alleen Claude is rechtstreeks vergeleken met de API van de maker. GPT, Gemini en Grok zijn vergeleken via OpenRouter, zonder eigen sleutel bij OpenAI, Google of xAI.

Waar de modellen draaien

AIGROW levert elk model via capaciteit die het bij meer dan één bron inkoopt, en noemt die bronnen niet. Instellingen zoals de beginwaarde van de rekeninspanning kunnen afwijken van het endpoint van de maker, zoals de sectie hierboven laat zien.

Geen band

AIGROW is onafhankelijk van Anthropic, OpenAI, Google en xAI. Hun namen geven aan wat het endpoint levert en impliceren geen partnerschap of goedkeuring.