Il modello che paghi è il modello che risponde

Un modello resta in vendita quando la sua migliore esecuzione qui si discosta di al massimo un elemento da quella del produttore, la sua chiamata allo strumento è identica, il suo blocco di ragionamento è firmato dove il produttore ne firma uno, e i suoi token di prompt coincidono con quelli del produttore oppure differiscono per il contesto proprio della linea, che questa pagina riporta.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".

Risposte esatte

Una riga vale quando coincide con la risposta attesa. Claude è stato eseguito con il ragionamento adattivo. Gli altri modelli sono stati eseguiti con le impostazioni di partenza del loro endpoint, e poi di nuovo con un livello di ragionamento impostato dove i due lati partivano da valori diversi.

Token di prompt

L'utilizzo riportato da ciascun endpoint per tre prompt fissi. Il conteggio dipende dal tokenizer del modello, quindi il modello di un altro produttore riporta un numero diverso, e un'istruzione nascosta lo fa aumentare.

Chiamata a uno strumento

Una richiesta con uno strumento meteo che accetta una città e un'unità. Gli argomenti devono essere gli stessi restituiti dal modello del produttore.

Ragionamento firmato

Anthropic firma il blocco di ragionamento di una risposta di Claude. Ogni risposta di Claude qui è arrivata con quel blocco e la sua firma.

Il riferimento

Claude è stato confrontato con l'API di Anthropic, chiamata con una nostra chiave. GPT, Gemini e Grok sono stati confrontati con lo stesso modello tramite OpenRouter, un router pubblico.

Quando

Tra 14:10 e 14:46 UTC dell’11 novembre 2026. Ogni chiamata era una nuova conversazione, in streaming, ed è andata alla linea che serve il modello, prima del conteggio dell’endpoint stesso.

Claude chiamato direttamente

In una chiamata API diretta con adaptive thinking, la linea Claude ha ragionato più a lungo dell’endpoint di Anthropic in alcune esecuzioni. In 8 esecuzioni della batteria, Claude Opus 5.5 ha usato qui da 2.982 a 31.999 token di output, e da 2.883 a 7.903 in 5 esecuzioni presso Anthropic. Una risposta di Claude Sonnet 5.5 è arrivata a 46.822 token di output con un max_tokens di 32.000, e in alcune chiamate sono stati riportati 724 token di prompt in più rispetto a quelli che Anthropic riporta per lo stesso prompt. La linea Claude interrompe il testo al max_tokens impostato da una richiesta, quindi l’endpoint non fattura alcun output Claude oltre quel limite. Entro il limite, output e token di prompt vengono fatturati come riportati, quindi una chiamata diretta che ragiona più a lungo costa di più.

Claude tramite Claude Code

Inviata da Claude Code con effort medio, la batteria ha richiesto 1.438 token di output su Claude Opus 5.5 e 1.992 su Claude Fable 5.2, contro 5.564 e 1.578 presso Anthropic, con tutte le risposte corrette su entrambi i lati.

Livello di ragionamento

Le linee GPT-6.1 Terra e Gemini 4 Argon partono da un livello di reasoning più basso rispetto all’endpoint del produttore quando la richiesta non ne imposta alcuno. GPT-6.1 Terra ha ottenuto 11 su 12 in questo modo e 12 con il reasoning effort impostato su high. Gemini 4 Argon ha ottenuto 7 e poi 12 con il reasoning effort impostato. Imposta reasoning_effort nella richiesta quando il compito lo richiede.

Limite di output

Le linee GPT e la linea Grok 4.7 non si fermano al max_tokens. Interpellate più tardi nella stessa giornata con la richiesta di un lungo saggio e max_tokens impostato a 300, ciascuna ha restituito il saggio intero, da 2.370 a 4.538 token di output, mentre gli endpoint di OpenAI e xAI si fermano al limite. Queste risposte vengono fatturate per quanto consegnato, quindi indica la lunghezza desiderata nel prompt. Claude e Gemini 4 Argon si fermano al limite, e Gemini 4 Argon porta a 128 token un limite inferiore a 128 token.

Contesto aggiunto

Due linee anteppongono al prompt token propri, che l’endpoint sottrae dall’utilizzo mostrato e fatturato: 288 su Gemini 4 Argon e 1.200 su Grok 4.7, un valore vicino ai 1.247 token di prompt riportati dall’endpoint di xAI per un prompt di due parole. Le chiamate di Grok 4.7 che ne riportavano di più sono state fatturate per la differenza. La tabella mostra il conteggio di ciascuna linea, prima di quella sottrazione, perciò lo script eseguito tramite l’endpoint riporta meno token di prompt rispetto al produttore su questi due modelli.

Un solo giorno

I risultati sono quelli dell’11 novembre 2026. Le linee cambiano, quindi la verifica viene ripetuta su ogni modello in vendita nella prima settimana di ogni mese, prima che un modello passi a una nuova linea e prima che un nuovo modello venga messo in vendita; un modello che non la supera viene ritirato dalla vendita lo stesso giorno. Questa pagina riporta la data dell’ultima verifica.

Modelli dello stesso produttore

Due modelli di punta dello stesso produttore possono rispondere correttamente a ogni quesito e contare i token allo stesso modo. La batteria distingue un modello da un sostituto più debole e dal modello di un altro produttore. Non può stabilire quale di due modelli che la superano entrambi abbia dato la risposta.

Dodici quesiti

Una batteria breve individua un modello più debole ma non coglie le piccole differenze. Un punteggio di 11 e uno di 12 qui equivalgono allo stesso risultato.

Quesiti pubblici

I quesiti e le relative risposte sono nello script, quindi un venditore potrebbe ottimizzare una linea per superarli. Cambia i numeri nello script per creare una batteria che nessuno ha mai visto.

Il riferimento

Solo Claude è stato confrontato direttamente con l’API del suo produttore. GPT, Gemini e Grok sono stati confrontati tramite OpenRouter, senza una chiave nostra presso OpenAI, Google o xAI.

Dove girano i modelli

AIGROW eroga ogni modello attraverso capacità che acquista da più fonti, senza nominarle. Impostazioni come il livello iniziale di reasoning possono differire dall’endpoint del produttore, come mostra la sezione qui sopra.

Nessuna affiliazione

AIGROW è indipendente da Anthropic, OpenAI, Google e xAI. I loro nomi indicano quale modello serve l’endpoint e non implicano alcuna partnership o approvazione.