Model, za który płacisz, jest modelem, który odpowiada

Model pozostaje w sprzedaży, gdy jego najlepszy wynik tutaj mieści się w granicach jednej pozycji od wyniku producenta, wywołanie narzędzia jest takie samo, blok rozumowania jest podpisany tam, gdzie producent go podpisuje, a tokeny promptu zgadzają się z tokenami producenta albo różnią się o kontekst własny linii, który opisuje ta strona.

Solve all 12 items exactly. You have no tools; reason carefully. Reply with ONLY 12 lines in the form `N: answer` (no words, no units, no thousands separators).
1: Sum of the decimal digits of 2^200.
2: Number of integer partitions of 50.
3: Number of twin prime pairs (p, p+2) with p < 3000.
4: Determinant of the matrix [[3, -1, 4, 2], [1, 5, -9, 2], [6, 5, 3, -5], [8, 9, -7, 9]].
5: Day of the week (English) of 17 March 2031.
6: Length of the longest common subsequence of "AGGTABCXKQTRPLMZNVWY" and "GXTXAYBKQRTPLZMNWVYC".
7: Let f(n) be the number of Collatz steps to reach 1 (n -> n/2 if even, 3n+1 if odd). Let m be the n in 1..199 with the largest f(n) (smallest n on ties). Answer m*1000 + f(m).
8: The permutation at 0-indexed lexicographic position 31337 of the digits 01234567, written as 8 digits.
9: 7^222 mod 1009.
10: How many integers from 1 to 10000 have digit sum 19.
11: Number of derangements of 10 elements.
12: Number of occurrences of the letter r in: "the quick brown fox jumps over the lazy dog while seventeen irritated terriers hurriedly retrieve arbitrary forgotten rubber rings".

Dokładne odpowiedzi

Linia jest zaliczana, gdy jest równa oczekiwanej odpowiedzi. Claude działał z adaptacyjnym myśleniem. Pozostałe modele działały z ustawieniami, z jakimi startuje ich endpoint, a potem ponownie z ustawionym wysiłkiem rozumowania tam, gdzie obie strony zaczynały od innych wartości.

Tokeny promptu

Zużycie zgłaszane przez każdy endpoint dla trzech stałych promptów. O liczbie decyduje tokenizer modelu, więc model innego producenta zgłasza inną wartość, a ukryta instrukcja ją zwiększa.

Wywołanie narzędzia

Jedno żądanie z narzędziem pogodowym, które przyjmuje miasto i jednostkę. Argumenty muszą być takie, jakie zwraca model producenta.

Podpisane myślenie

Anthropic podpisuje blok myślenia w odpowiedzi Claude. Każda odpowiedź Claude w tym teście wróciła z tym blokiem i jego podpisem.

Punkt odniesienia

Claude porównano z API Anthropic, wywoływanym naszym własnym kluczem. GPT, Gemini i Grok porównano z tym samym modelem przez OpenRouter, publiczny router.

Kiedy

Między 14:10 a 14:46 UTC dnia 11 listopada 2026. Każde wywołanie było nową rozmową, przesyłaną strumieniowo, i trafiało do linii obsługującej dany model, przed rozliczeniem po stronie samego endpointu.

Claude wywoływany bezpośrednio

Przy bezpośrednim wywołaniu API z adaptacyjnym myśleniem linia Claude w niektórych przebiegach myślała dłużej niż endpoint Anthropic. W 8 przebiegach zestawu testów Claude Opus 5.5 zużył tu od 2982 do 31 999 tokenów wyjściowych, a u Anthropic od 2883 do 7903 w 5 przebiegach. Jedna odpowiedź Claude Sonnet 5.5 sięgnęła 46 822 tokenów wyjściowych przy max_tokens równym 32 000, a część wywołań zgłosiła o 724 tokeny promptu więcej, niż podaje Anthropic dla tego samego promptu. Linia Claude ucina tekst na wartości max_tokens ustawionej w żądaniu, więc endpoint nie nalicza opłat za wynik Claude powyżej tego limitu. W jego granicach tokeny wyjściowe i te tokeny promptu są rozliczane tak, jak zostały zgłoszone, dlatego bezpośrednie wywołanie, które myśli dłużej, kosztuje więcej.

Claude przez Claude Code

Wysłany przez Claude Code przy średnim wysiłku zestaw testów zużył 1438 tokenów wyjściowych w Claude Opus 5.5 i 1992 w Claude Fable 5.2, wobec 5564 i 1578 u Anthropic, a każda odpowiedź była poprawna po obu stronach.

Wysiłek rozumowania

Warianty GPT-6.1 Terra i Gemini 4 Argon startują z niższym poziomem wysiłku rozumowania niż endpoint producenta, gdy żądanie go nie określa. GPT-6.1 Terra uzyskał w ten sposób 11 z 12 pytań, a z wysiłkiem ustawionym na high: 12. Gemini 4 Argon uzyskał 7, a po ustawieniu wysiłku 12. Jeśli zadanie tego wymaga, ustaw reasoning_effort w żądaniu.

Limit wyjścia

Linie GPT i linia Grok 4.7 nie zatrzymują się na max_tokens. Gdy później tego samego dnia poprosiłem o długi esej z max_tokens ustawionym na 300, każda z nich zwróciła cały esej, od 2370 do 4538 tokenów wyjściowych, podczas gdy endpointy OpenAI i xAI zatrzymują się na limicie. Takie odpowiedzi są rozliczane w całości, więc długość podawaj w prompcie. Claude i Gemini 4 Argon zatrzymują się na limicie, a Gemini 4 Argon podnosi limit niższy niż 128 tokenów do 128.

Dodany kontekst

Dwie linie dodają przed promptem własne tokeny, a endpoint odejmuje je od zużycia, które pokazuje i rozlicza: 288 tokenów w Gemini 4 Argon oraz 1200 tokenów w Grok 4.7, blisko 1247 tokenów promptu, które zgłasza endpoint xAI dla promptu z dwóch słów. Wywołania Grok 4.7, które zgłosiły więcej, były rozliczane za resztę. Tabela pokazuje liczbę każdej linii przed tym odjęciem, dlatego skrypt uruchomiony przez endpoint zgłasza w tych dwóch modelach mniej tokenów promptu niż producent.

Jeden dzień

Wyniki pochodzą z dnia 11 listopada 2026. Linie dostaw się zmieniają, więc kontrolę powtarzamy dla każdego modelu w sprzedaży w pierwszym tygodniu każdego miesiąca, przed przeniesieniem modelu do nowej linii i przed wprowadzeniem nowego modelu do sprzedaży, a model, który jej nie przejdzie, jest wycofywany ze sprzedaży tego samego dnia. Ta strona podaje datę ostatniego przebiegu.

Modele jednego producenta

Dwa mocne modele jednego producenta mogą oba odpowiedzieć poprawnie na każde pytanie i tak samo liczyć tokeny. Zestaw odróżnia model od słabszego zamiennika i od modelu innego producenta. Nie rozstrzygnie jednak, który z dwóch modeli, które oba zaliczają test, udzielił odpowiedzi.

Dwanaście pytań

Krótki zestaw wychwyci słabszy model, ale przeoczy drobne różnice. Wynik 11 i wynik 12 oznaczają tu to samo.

Jawne pytania

Pytania i odpowiedzi są w skrypcie, więc sprzedawca mógłby dostroić do nich swój wariant. Zmień liczby w skrypcie, aby powstał zestaw, którego nikt wcześniej nie widział.

Punkt odniesienia

Bezpośrednio z API producenta porównaliśmy tylko Claude. GPT, Gemini i Grok porównaliśmy przez OpenRouter, bez własnego klucza w OpenAI, Google ani xAI.

Gdzie działają modele

AIGROW udostępnia każdy model dzięki mocy obliczeniowej kupowanej z więcej niż jednego źródła i nie podaje ich nazw. Ustawienia, takie jak początkowy poziom wysiłku rozumowania, mogą się różnić od tych w endpoincie producenta, jak pokazuje sekcja powyżej.

Brak powiązań

AIGROW jest niezależny od Anthropic, OpenAI, Google i xAI. Ich nazwy wskazują, co udostępnia endpoint, i nie oznaczają partnerstwa ani poparcia.