Bedste AI-model til butikker, testet den 23. september 2026
Opgaverne i AIGROWs benchmark for små virksomheder, som en butik ville give til AI, og hvordan hver af 36 modeller klarede hver enkelt opgave, bedømt som bestået eller ikke bestået efter skriftlige kriterier.
Et pilotforsøg: 1 kørsel pr. model på hver opgave. Denne test blev kørt 23. september 2026. Siden da har udviklerne erstattet 18 af dens 36 modeller med nyere, og den omfattede ikke 26 aktuelle modeller på vores liste. LLM-ranglisten rangerer aktuelle modeller efter målte resultater.
- Qwen3.8 Flash
- 4 af 4
- Gemini 3.1 Pro (preview)
- 4 af 4
- DeepSeek V4.1 Flash
- 4 af 4
- DeepSeek V4 Pro
- 4 af 4
- Gemini 3.8 Flash
- 4 af 4
- Claude Sonnet 5
- 4 af 4
AIGROWs benchmark for små virksomheder indeholder 4 opgaver, som en butik ville give til AI: besvarelse af anmodninger om refusion, besvarelse af reklamationer på italiensk, skrivning af italienske produktbeskrivelser og skrivning af mødereferater. Den 23. september 2026 bestod 12 modeller alle 4; blandt dem gav DeepSeek V4.1 Flash de billigste beståede på tværs af benchmarken, 1,05 US$ pr. tusind.
Alle modeller på disse opgaver
Flest beståede opgaver først. Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver. Prisen for 1.000 beståede opgaver beregnes ud fra hele benchmarken, inklusive mislykkede gennemførsler.
| Model | Besvarelse af anmodninger om refusion | Besvarelse af reklamationer på italiensk | Skrivning af italienske produktbeskrivelser | Skrivning af mødereferater | Beståede | 1.000 beståede opgaver |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 1,09 US$ |
| Gemini 3.1 Pro (preview)Erstattet af Gemini 4 Argon | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 29,67 US$ |
| DeepSeek V4.1 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 1,05 US$ |
| DeepSeek V4 Pro | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 5,14 US$ |
| Gemini 3.8 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 7,17 US$ |
| Claude Sonnet 5Erstattet af Claude Sonnet 5.5 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 6,70 US$ |
| Qwen3.8 MaxErstattet af Qwen4-Max | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 16,32 US$ |
| Claude Opus 5Erstattet af Claude Opus 5.5 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 16,89 US$ |
| GPT-5.5Erstattet af GPT-6.2 Astra | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 17,02 US$ |
| GPT-6 AstraErstattet af GPT-6.2 Astra | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 27,91 US$ |
| GPT-5.6 TerraErstattet af GPT-6.1 Terra | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 6,68 US$ |
| Kimi K2.6Erstattet af Kimi K3.1 Pro | Bestået | Bestået | Bestået | Bestået | 4 af 4 | 11,69 US$ |
| Kimi K3Erstattet af Kimi K3.1 Pro | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | 18,44 US$ |
| GLM-5.3-Flash | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | 0,831 US$ |
| GLM-5.3 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | 7,02 US$ |
| Grok 4.7 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | 9,41 US$ |
| Qwen3.7 Plus | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 3,58 US$ |
| GPT-5.6 SolErstattet af GPT-6.2 Sol | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 11,33 US$ |
| Claude Fable 5.1Erstattet af Claude Fable 5.2 | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 33,11 US$ |
| GPT-5.6 LunaErstattet af GPT-6 Luna | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 0,677 US$ |
| MiniMax M3 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | 1,82 US$ |
| Claude Sonnet 4.6Erstattet af Claude Sonnet 5.5 | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 11,24 US$ |
| Gemma 4 31B | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | 0,558 US$ |
| Muse Glimmer 30B | Ikke bestået | Bestået | Bestået | Ikke bestået | 2 af 4 | 3,10 US$ |
| Grok 4.3 | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | 4,10 US$ |
| Qwen3.8 27B | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | 7,30 US$ |
| gpt-oss-120b | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | 0,422 US$ |
| Llama 4 Maverick | Ikke bestået | Ikke bestået | Bestået | Bestået | 2 af 4 | 0,665 US$ |
| GPT-5.4 miniErstattet af GPT-6.1 Terra | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | 3,35 US$ |
| Mistral Medium 3.5Erstattet af Mistral Large 4 | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | 7,40 US$ |
| Gemini 3.1 Flash-LiteErstattet af Gemini 3.5 Flash-Lite | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | 1 af 4 | 1,41 US$ |
| Claude Haiku 4.5Erstattet af Claude Haiku 5.5 | Ikke bestået | Bestået | Ikke bestået | Ikke bestået | 1 af 4 | 6,62 US$ |
| GPT-5.4 nanoErstattet af GPT-6 Luna | Ikke bestået | Ikke bestået | Ikke bestået | Bestået | 1 af 4 | 1,51 US$ |
| Ministral 3 14B | Ikke bestået | Bestået | Ikke bestået | Ikke bestået | 1 af 4 | 1,07 US$ |
| Gemini 3.5 Flash-Lite | Ikke bestået | Ikke bestået | Ikke bestået | Ikke bestået | 0 af 4 | 2,47 US$ |
| Mistral Small 4 | Ikke bestået | Ikke bestået | Ikke bestået | Ikke bestået | 0 af 4 | 1,33 US$ |
Opgaverne
Hver side viser opgaven, som modellerne fik den, faldgruberne, alle kriterierne forklaret med ord, og hvad hver model gjorde forkert.
- Svar en kunde, der beder om refusion efter fristen for refusion
- Engelsk. 17 af 36 gennemførsler bestod.
- Svar på italiensk en kunde, der fejlagtigt tror, at hendes garanti er udløbet
- Italiensk. 31 af 36 gennemførsler bestod.
- Skriv en italiensk produktbeskrivelse af en olivenolie, der overholder mærkningsreglerne
- Italiensk. 21 af 36 gennemførsler bestod.
- Omsæt et teammøde i et bageri til beslutninger, ansvarlige og deadlines
- Engelsk. 30 af 36 gennemførsler bestod.
Lad en agent udføre arbejdet
En AIGROW-agent udfører den slags arbejde i dine egne værktøjer efter regler, du har godkendt skriftligt. Den sender det videre, som reglerne ikke dækker, i stedet for at gætte.
oktober 2026-udgaven