Das Modell, für das Sie bezahlen, ist das Modell, das antwortet
Eine günstigere API spart nur dann Geld, wenn das Modell dahinter das ist, das auf dem Etikett steht. Am 11. November 2026 haben wir an jedes Modell, das der AIGROW-Endpunkt verkauft, dieselben Prompts geschickt wie an dasselbe Modell beim Hersteller, und verglichen, was zurückkam. Alle 9 stimmten überein, und zwei Linien, bei denen das nicht der Fall war, wurden aus dem Angebot genommen.
Durchlauf vom 11. November 2026, 14:10 bis 14:46 UTC. AIGROW ist unabhängig von Anthropic, OpenAI, Google und xAI.
- Gleicher Tool-Aufruf wie beim Hersteller
- 9 von 9
- Gleiche Prompt-Tokens wie beim Hersteller
- 7 von 9
- Linien, die eigenen Kontext hinzufügen
- 2
- Nach nicht bestandener Prüfung entfernte Linien
- 2
- Getestete Anbieter günstiger APIs
- 12
Claude gegen die API von Anthropic; GPT, Gemini und Grok über OpenRouter
AIGROW prüft jedes Modell, das die API verkauft, gegen dasselbe Modell beim Hersteller: 12 Fragen mit je einer richtigen Antwort, einen Tool-Aufruf und die für einen festen Prompt gemeldeten Prompt-Tokens. Am 11. November 2026 stimmten alle 9 angebotenen Modelle überein. Die Ergebnisse, die Testreihe und ein Skript, das den Test wiederholt, finden Sie unten.
Was der Durchlauf ergeben hat
Ein Modell stimmt überein, wenn es die Testreihe so beantwortet wie das Modell seines Herstellers, denselben Tool-Aufruf ausführt und die Prompt-Tokens meldet, die sein Hersteller meldet.
Alle 9 verkauften Modelle erreichten im Testdurchlauf den Wert ihres Herstellers, plus/minus eine Aufgabe.
Bei 8 lag das Ergebnis ohne geänderte Einstellung höchstens eine Aufgabe vom Lauf des Herstellers entfernt. Gemini 4 Argon erreichte so 7 von 12 und 12 von 12, wenn in der Anfrage ein Reasoning-Aufwand gesetzt war, während das Modell von Google 11 erreichte.
Ein schwächeres Modell unter stärkerem Namen fällt durch: Die von uns aussortierten Zugänge erreichten 0 und 4 von 12.
Im November 2026 haben wir bei 12 Anbietern von Rabatt-APIs Guthaben gekauft und diese Prüfungen an dem durchgeführt, was sie verkaufen. Jeder der 12 hatte mindestens einen Zugang, der durchfiel. Ein als Claude Opus 5.5 verkaufter Zugang erreichte 4 von 12, ein als Claude Sonnet 5.5 verkaufter 0, während die Modelle von Anthropic 12 erreichen.
Beim selben Prompt meldeten 7 von 9 Modellen exakt die Prompt-Token, die ihr Hersteller meldet.
Die übrigen 2 Leitungen stellen dem Prompt eigenen Kontext voran: bis zu 258 Token bei Gemini 4 Argon und 2.094 bei 3 der 8 Aufrufe an Grok 4.7. Eine Leitung, die wir verworfen haben, meldete etwa 12.500 Prompt-Token für einen Tool-Aufruf von etwa 100.
2 Zugänge haben diesen Lauf nicht bestanden und bearbeiten keine Anfragen mehr.
Ein Ausweich-Zugang für GPT-6.1 Sol erreichte 0 von 12, während das Modell von OpenAI 12 erreicht. GPT-6.1 Sol hat deshalb jetzt nur noch einen Zugang und gibt einen Fehler zurück, wenn dieser ausfällt. Grok 4.3 meldete 21 Prompt-Token, wo der Endpunkt von xAI 197 meldet, und beantwortete eine Frage zu sich selbst mit einem festen Satz, deshalb ist es nicht mehr im Angebot. Grok 4.7 ist das angebotene Grok.
Jedes Modell neben seinem Hersteller
Der Wert ist die Anzahl richtiger Antworten in der Testreihe; an Grok 4.7 wurden 5 der 12 Aufgaben gesendet. Die Prompt-Tokens sind die für dieselben drei Prompts gemeldeten: eine Antwort aus zwei Wörtern, vier kurze Fragen und ein Tool-Aufruf.
| Modell | Hier | Beim Hersteller | Prompt-Token | Tool-Aufruf |
|---|---|---|---|---|
| Vergleich mit der API von Anthropic | ||||
| Claude Fable 5.2 | 12 von 12 | 12 von 12 | Gleich | Gleich |
| Claude Opus 5.5 | 12 von 12 | 12 von 12 | Gleich | Gleich |
| Claude Sonnet 5.5 | 12 von 12 | 12 von 12 | Gleich | Gleich |
| Claude Fable 5.1 | 12 von 12 | 12 von 12 | Gleich | Gleich |
| Vergleich mit demselben Modell über OpenRouter | ||||
| GPT-6 Astra | 12 von 12 | 12 von 12 | Gleich | Gleich |
| GPT-6.1 Sol | 12 von 12 | 12 von 12 | Gleich | Gleich |
| GPT-6.1 Terra | 11 von 1212 von 12 bei hohem Reasoning-Aufwand | 12 von 1211 von 12 bei hohem Reasoning-Aufwand | Gleich | Gleich |
| Grok 4.7 | 5 von 5 | 5 von 5 | Bis zu 2.094 mehr | Gleich |
| Gemini 4 Argon | 7 von 1212 von 12 bei niedrigem Reasoning-Aufwand | 11 von 126 von 12 bei niedrigem Reasoning-Aufwand | Bis zu 258 mehr | Gleich |
Ein Modell bleibt im Verkauf, wenn sein bester Durchlauf hier höchstens eine Aufgabe vom Wert des Herstellers abweicht, sein Tool-Aufruf identisch ist, sein Thinking-Block signiert ist, wo der Hersteller einen signiert, und seine Prompt-Tokens denen des Herstellers entsprechen oder sich nur durch den eigenen Kontext der Linie unterscheiden, den diese Seite ausweist.
Die Testreihe
12 Fragen mit je einer richtigen Antwort, in einer Nachricht ohne Tools gesendet. Ein Modell muss sich die Antworten erschließen, und ein Modell, das rät, erreicht ein paar Treffer. Der Prompt wird genau so gezeigt, wie die Modelle ihn erhalten haben.
Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators). 1: Sum of the decimal digits of 2^200. 2: Number of integer partitions of 50. 3: Number of twin prime pairs (p, p+2) with p < 3000. 4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]]. 5: Day of the week (English) of 17 March 2031. 6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC". 7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m). 8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits. 9: 7^222 mod 1009. 10: How many integers from 1 to 10000 have digit sum 19. 11: Number of derangements of 10 elements. 12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".
- Exakte Antworten
- Eine Zeile zählt, wenn sie der erwarteten Antwort entspricht. Claude lief mit adaptivem Denken. Die anderen Modelle liefen mit den Einstellungen, mit denen ihr Endpunkt startet, und noch einmal mit gesetztem Reasoning-Aufwand, wo beide Seiten unterschiedlich begannen.
- Prompt-Token
- Die Nutzung, die jeder Endpunkt für drei feste Prompts meldet. Der Tokenizer eines Modells bestimmt die Zahl, daher meldet das Modell eines anderen Herstellers eine andere, und eine versteckte Anweisung erhöht sie.
- Tool-Aufruf
- Eine Anfrage mit einem Wetter-Tool, das eine Stadt und eine Einheit erwartet. Die Argumente müssen mit denen übereinstimmen, die das Modell des Herstellers zurückgibt.
- Signiertes Denken
- Anthropic signiert den Denkblock einer Claude-Antwort. Jede Claude-Antwort kam hier mit diesem Block und seiner Signatur zurück.
- Die Referenz
- Claude wurde mit der API von Anthropic verglichen, aufgerufen mit unserem eigenen Schlüssel. GPT, Gemini und Grok wurden mit demselben Modell über OpenRouter verglichen, einen öffentlichen Router.
- Zeitpunkt
- Zwischen 14:10 und 14:46 UTC am 11. November 2026. Jeder Aufruf war eine neue Unterhaltung, wurde gestreamt und ging an die Linie, die das Modell bereitstellt, noch vor der eigenen Abrechnung des Endpunkts.
Wo eine Linie vom Hersteller abweicht
Dasselbe Modell kann mit unterschiedlichen Einstellungen laufen. Das sind die Unterschiede, die der Durchlauf gemessen hat, und was jeder davon für die Rechnung bedeutet.
- Claude direkt aufgerufen
- Bei einem direkten API-Aufruf mit adaptivem Denken hat die Claude-Linie in einigen Durchläufen länger gedacht als der Endpunkt von Anthropic. Über 8 Durchläufe der Testreihe hinweg nutzte Claude Opus 5.5 hier 2.982 bis 31.999 Output-Tokens, bei Anthropic waren es 2.883 bis 7.903 über 5 Durchläufe. Eine Antwort von Claude Sonnet 5.5 umfasste 46.822 Output-Tokens bei einem max_tokens-Wert von 32.000, und einige Aufrufe meldeten 724 Prompt-Tokens mehr, als Anthropic für denselben Prompt angibt. Die Claude-Linie kappt den Text bei dem max_tokens-Wert, den eine Anfrage festlegt, sodass der Endpunkt darüber hinaus keinen Claude-Output berechnet. Innerhalb dieser Grenze werden Output und diese Prompt-Tokens wie gemeldet abgerechnet. Ein direkter Aufruf, der länger denkt, kostet also mehr.
- Claude über Claude Code
- Über Claude Code mit mittlerem Aufwand gesendet, benötigte die Testreihe 1.438 Ausgabe-Token bei Claude Opus 5.5 und 1.992 bei Claude Fable 5.2, gegenüber 5.564 und 1.578 bei Anthropic, wobei auf beiden Seiten jede Antwort richtig war.
- Reasoning-Aufwand
- Die Linien GPT-6.1 Terra und Gemini 4 Argon starten mit geringerem Denkaufwand als der Endpunkt des Herstellers, wenn die Anfrage keinen festlegt. GPT-6.1 Terra erreichte so 11 von 12 und 12, wenn der Aufwand auf „high“ gesetzt war. Gemini 4 Argon erreichte 7 und danach 12 mit gesetztem Aufwand. Legen Sie reasoning_effort in der Anfrage fest, wenn die Aufgabe es erfordert.
- Output-Limit
- Die GPT-Linien und die Grok-4.7-Linie halten nicht bei max_tokens an. Als wir am selben Tag später einen langen Essay mit einem max_tokens-Wert von 300 angefordert haben, lieferte jede den kompletten Essay mit 2.370 bis 4.538 Output-Tokens, obwohl die Endpunkte von OpenAI und xAI beim Limit stoppen. Diese Antworten werden so abgerechnet, wie sie geliefert werden, legen Sie die gewünschte Länge daher im Prompt fest. Claude und Gemini 4 Argon halten beim Limit an, wobei Gemini 4 Argon ein Limit unter 128 Tokens auf 128 anhebt.
- Zusätzlicher Kontext
- Zwei Linien stellen dem Prompt eigene Tokens voran, und der Endpunkt zieht sie von der angezeigten und abgerechneten Nutzung ab: 288 bei Gemini 4 Argon und 1.200 bei Grok 4.7, nahe an den 1.247 Prompt-Tokens, die der Endpunkt von xAI selbst für einen Prompt aus zwei Wörtern meldet. Die Grok-4.7-Aufrufe, die mehr meldeten, wurden für den Rest berechnet. Die Tabelle zeigt die jeweils eigene Zählung jeder Linie vor diesem Abzug, weshalb das über den Endpunkt ausgeführte Skript bei diesen beiden Modellen weniger Prompt-Tokens meldet als der Hersteller.
Die Prüfung selbst durchführen
Eine Datei für Node 18 oder neuer, ohne Abhängigkeiten. Sie sendet die Testreihe, einen kurzen Prompt und einen Tool-Aufruf an einen Endpunkt, und auch an den Hersteller, wenn Sie einen Schlüssel des Herstellers angeben.
Dieser Endpunkt
Gibt den Wert, die Prompt-Tokens und die Argumente des Tool-Aufrufs aus.
MODEL_CHECK_KEY=ag_your_key node model-check.mjs claude-opus-5.5Neben dem Hersteller
Mit einem Anthropic-Schlüssel für Claude oder einem OpenRouter-Schlüssel für GPT, Gemini und Grok gibt es beide Seiten aus und zeigt, wo sie abweichen.
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-ant-your_key node model-check.mjs claude-opus-5.5
MODEL_CHECK_KEY=ag_your_key MAKER_KEY=sk-or-your_key node model-check.mjs gpt-6.1-solJede Anfrage wird wie üblich abgerechnet. Die Testreihe ist der teure Teil: bei den meisten Modellen ein paar Cent Guthaben, mehr, wenn ein Modell lange nachdenkt. Um die API eines anderen Anbieters zu testen, übergeben Sie deren Adresse mit --base.
Was diese Seite nicht behauptet
- Ein Tag
- Die Ergebnisse stammen vom 11. November 2026. Anbieter ändern sich, deshalb wird die Prüfung für jedes angebotene Modell in der ersten Woche jedes Monats wiederholt, außerdem bevor ein Modell zu einem neuen Anbieter wechselt und bevor ein neues Modell in den Verkauf geht. Ein Modell, das durchfällt, wird noch am selben Tag aus dem Angebot genommen. Diese Seite trägt das Datum ihres letzten Durchlaufs.
- Modelle eines Herstellers
- Zwei starke Modelle eines Herstellers können beide jede Aufgabe richtig lösen und Tokens auf die gleiche Weise zählen. Die Testreihe unterscheidet ein Modell von einem schwächeren Ersatz und vom Modell eines anderen Herstellers. Sie kann nicht erkennen, welches von zwei Modellen, die beide bestehen, die Antwort gegeben hat.
- Zwölf Aufgaben
- Eine kurze Testreihe erkennt ein schwächeres Modell und übersieht kleine Unterschiede. Ein Ergebnis von 11 und ein Ergebnis von 12 gelten hier als gleich.
- Öffentliche Aufgaben
- Die Aufgaben und ihre Antworten stehen im Skript, daher könnte ein Anbieter eine Linie darauf abstimmen. Ändern Sie die Zahlen im Skript, um eine Testreihe zu erstellen, die niemand kennt.
- Die Referenz
- Nur Claude wurde direkt mit der API seines Herstellers verglichen. GPT, Gemini und Grok wurden über OpenRouter verglichen, ohne einen eigenen Schlüssel bei OpenAI, Google oder xAI.
- Wo die Modelle laufen
- AIGROW stellt jedes Modell über Kapazitäten bereit, die das Unternehmen aus mehr als einer Quelle bezieht, und nennt diese nicht. Einstellungen wie der anfängliche Denkaufwand können vom Endpunkt des Herstellers abweichen, wie der Abschnitt oben zeigt.
- Keine Verbindung
- AIGROW ist unabhängig von Anthropic, OpenAI, Google und xAI. Deren Namen geben an, was der Endpunkt bereitstellt, und deuten weder eine Partnerschaft noch eine Empfehlung an.
Fragen zu echten Modellen
9 Modelle, jedes gegen seinen Hersteller geprüft.
Starten Sie mit dem Paket für 25 $ und führen Sie dann das Skript mit Ihrem eigenen Schlüssel aus.
Modellprüfung vom 11. November 2026 · Ergebnisse und Skript auf dieser Seite