Le modèle que vous payez est celui qui répond

Un modèle reste en vente lorsque sa meilleure exécution ici se situe à un élément près de celle de l’éditeur, que son appel d’outil est identique, que son bloc de réflexion est signé là où l’éditeur en signe un, et que ses tokens de requête correspondent à ceux de l’éditeur ou n’en diffèrent que par le contexte propre à la ligne, que cette page indique.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".

Réponses exactes

Une ligne est comptée quand elle correspond à la réponse attendue. Claude a été exécuté avec la réflexion adaptative. Les autres modèles l’ont été avec les réglages de départ de leur point d’accès, puis de nouveau avec un niveau de raisonnement défini là où les deux côtés partaient de réglages différents.

Tokens de prompt

La consommation que chaque point d’accès signale pour trois prompts fixes. Le tokenizer d’un modèle détermine le décompte : le modèle d’un autre éditeur signale donc un autre nombre, et une instruction cachée s’y ajoute.

Appel d’outil

Une requête avec un outil météo qui prend une ville et une unité. Les arguments doivent être ceux que renvoie le modèle de l’éditeur.

Réflexion signée

Anthropic signe le bloc de réflexion d’une réponse de Claude. Toutes les réponses de Claude obtenues ici comportaient ce bloc et sa signature.

La référence

Claude a été comparé à l’API d’Anthropic, appelée avec notre propre clé. GPT, Gemini et Grok ont été comparés au même modèle via OpenRouter, un routeur public.

Quand

Entre 14:10 et 14:46 UTC le 11 novembre 2026. Chaque appel constituait une nouvelle conversation, en streaming, et passait par la ligne qui sert le modèle, avant le décompte propre au point d’accès.

Claude appelé directement

Lors d’un appel direct à l’API avec réflexion adaptative, la ligne Claude a réfléchi plus longtemps que le point d’accès d’Anthropic sur certaines exécutions. Sur 8 exécutions de la batterie de tests, Claude Opus 5.5 a utilisé ici de 2 982 à 31 999 tokens de sortie, contre 2 883 à 7 903 sur 5 exécutions chez Anthropic. Une réponse de Claude Sonnet 5.5 est montée à 46 822 tokens de sortie pour un max_tokens de 32 000, et certains appels ont signalé 724 tokens de requête de plus qu’Anthropic pour la même requête. La ligne Claude coupe le texte au max_tokens fixé par une requête, si bien que le point d’accès ne facture aucun token de sortie Claude au-delà. En deçà, la sortie et ces tokens de requête sont facturés tels que rapportés : un appel direct qui réfléchit plus longtemps coûte donc plus cher.

Claude via Claude Code

Envoyée par Claude Code avec un niveau de raisonnement moyen, la batterie a consommé 1 438 tokens de sortie sur Claude Opus 5.5 et 1 992 sur Claude Fable 5.2, contre 5 564 et 1 578 chez Anthropic, avec toutes les réponses justes des deux côtés.

Niveau de raisonnement

Les lignes GPT-6.1 Terra et Gemini 4 Argon partent d’un niveau d’effort plus faible que le endpoint du fabricant quand la requête n’en précise aucun. GPT-6.1 Terra a obtenu 11 sur 12 dans ce cas, et 12 avec l’effort réglé sur high. Gemini 4 Argon a obtenu 7, puis 12 avec l’effort défini. Précisez reasoning_effort dans la requête quand la tâche l’exige.

Plafond de sortie

Les lignes GPT et la ligne Grok 4.7 ne s’arrêtent pas à max_tokens. Interrogées plus tard le même jour pour un long essai avec max_tokens fixé à 300, chacune a renvoyé l’essai complet, de 2 370 à 4 538 tokens de sortie, alors que les points d’accès d’OpenAI et de xAI s’arrêtent au plafond. Ces réponses sont facturées telles que livrées : indiquez donc la longueur souhaitée dans la requête. Claude et Gemini 4 Argon s’arrêtent au plafond, et Gemini 4 Argon relève à 128 tout plafond inférieur à 128 tokens.

Contexte ajouté

Deux lignes placent leurs propres tokens devant la requête, et le point d’accès les retire de la consommation qu’il affiche et facture : 288 sur Gemini 4 Argon et 1 200 sur Grok 4.7, un chiffre proche des 1 247 tokens de requête que le point d’accès de xAI indique pour une requête de deux mots. Les appels Grok 4.7 qui en ont indiqué davantage ont été facturés pour le reste. Le tableau présente le décompte propre à chaque ligne, avant cette soustraction : le script exécuté via le point d’accès indique donc moins de tokens de requête que l’éditeur sur ces deux modèles.

Un seul jour

Les résultats sont ceux du 11 novembre 2026. Les filières évoluent : le contrôle est donc relancé sur chaque modèle en vente la première semaine de chaque mois, avant qu’un modèle change de filière et avant la mise en vente d’un nouveau modèle, et un modèle qui échoue est retiré de la vente le jour même. Cette page porte la date de son dernier contrôle.

Modèles d’un même fabricant

Deux modèles performants d’un même fabricant peuvent tous deux répondre juste à chaque question et compter les tokens de la même façon. La batterie distingue un modèle d’un substitut plus faible et du modèle d’un autre fabricant. Elle ne peut pas dire lequel de deux modèles qui la réussissent tous deux a donné la réponse.

Douze questions

Une batterie courte repère un modèle plus faible, mais laisse passer les petites différences. Un score de 11 et un score de 12 sont ici le même résultat.

Questions publiques

Les questions et leurs réponses figurent dans le script : un vendeur pourrait donc y ajuster une ligne. Modifiez les nombres du script pour obtenir une batterie que personne n’a vue.

La référence

Seul Claude a été comparé directement à l’API de son fabricant. GPT, Gemini et Grok ont été comparés via OpenRouter, sans clé propre chez OpenAI, Google ou xAI.

Où tournent les modèles

AIGROW sert chaque modèle grâce à une capacité achetée auprès de plusieurs sources, qu’il ne nomme pas. Certains réglages, comme l’effort de raisonnement par défaut, peuvent différer de ceux du endpoint du fabricant, comme le montre la section ci-dessus.

Aucune affiliation

AIGROW est indépendant d’Anthropic, d’OpenAI, de Google et de xAI. Leurs noms indiquent ce que sert le endpoint et n’impliquent ni partenariat ni recommandation.