Bedste AI-model til butikker
Opgaverne i AIGROWs benchmark for små virksomheder, som en butik ville give til AI, og hvordan hver af 36 modeller klarede hver enkelt opgave, bedømt som bestået eller ikke bestået efter skriftlige kriterier.
oktober 2026-udgaven, pilotforsøg, 1 gennemførsel pr. model på hver opgave.
- Qwen3.8 Flash
- 4 af 4
- Gemini 3.1 Pro (preview)
- 4 af 4
- DeepSeek V4.1 Flash
- 4 af 4
- DeepSeek V4 Pro
- 4 af 4
- Gemini 3.8 Flash
- 4 af 4
- Claude Sonnet 5
- 4 af 4
Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver.
AIGROWs benchmark for små virksomheder indeholder 4 opgaver, som en butik ville give til AI: besvarelse af anmodninger om refusion, besvarelse af reklamationer på italiensk, skrivning af italienske produktbeskrivelser og skrivning af mødereferater. I oktober 2026-udgaven bestod 12 modeller alle 4. Blandt dem havde DeepSeek V4.1 Flash de billigste beståede forsøg på tværs af benchmarken til $1.05 pr. tusind.
Alle modeller på disse opgaver
Flest beståede opgaver først. Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver. Prisen for 1.000 beståede opgaver beregnes ud fra hele benchmarken, inklusive mislykkede gennemførsler.
| Model | Besvarelse af anmodninger om refusion | Besvarelse af reklamationer på italiensk | Skrivning af italienske produktbeskrivelser | Skrivning af mødereferater | Beståede | 1.000 beståede opgaver |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $1.09 |
| Gemini 3.1 Pro (preview) | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $29.67 |
| DeepSeek V4.1 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $1.05 |
| DeepSeek V4 Pro | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $5.14 |
| Gemini 3.8 Flash | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $7.17 |
| Claude Sonnet 5 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $6.70 |
| Qwen3.8 Max | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $16.32 |
| Claude Opus 5 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $16.89 |
| GPT-5.5 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $17.02 |
| GPT-6 Astra | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $27.91 |
| GPT-5.6 Terra | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $6.68 |
| Kimi K2.6 | Bestået | Bestået | Bestået | Bestået | 4 af 4 | $11.68 |
| Kimi K3 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | $18.44 |
| GLM-5.3-Flash | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | $0.831 |
| GLM-5.3 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | $7.02 |
| Grok 4.7 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | $9.41 |
| Qwen3.7 Plus | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $3.58 |
| GPT-5.6 Sol | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $11.33 |
| Claude Fable 5.1 | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $33.11 |
| GPT-5.6 Luna | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $0.677 |
| MiniMax M3 | Bestået | Bestået | Ikke bestået | Bestået | 3 af 4 | $1.82 |
| Claude Sonnet 4.6 | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $11.24 |
| Gemma 4 31B | Ikke bestået | Bestået | Bestået | Bestået | 3 af 4 | $0.558 |
| Muse Glimmer 30B | Ikke bestået | Bestået | Bestået | Ikke bestået | 2 af 4 | $3.10 |
| Grok 4.3 | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | $4.10 |
| Qwen3.8 27B | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | $7.30 |
| gpt-oss-120b | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | $0.422 |
| Llama 4 Maverick | Ikke bestået | Ikke bestået | Bestået | Bestået | 2 af 4 | $0.665 |
| GPT-5.4 mini | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | $3.35 |
| Mistral Medium 3.5 | Ikke bestået | Bestået | Ikke bestået | Bestået | 2 af 4 | $7.40 |
| Gemini 3.1 Flash-Lite | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | 1 af 4 | $1.41 |
| Claude Haiku 4.5 | Ikke bestået | Bestået | Ikke bestået | Ikke bestået | 1 af 4 | $6.62 |
| GPT-5.4 nano | Ikke bestået | Ikke bestået | Ikke bestået | Bestået | 1 af 4 | $1.51 |
| Ministral 3 14B | Ikke bestået | Bestået | Ikke bestået | Ikke bestået | 1 af 4 | $1.07 |
| Gemini 3.5 Flash-Lite | Ikke bestået | Ikke bestået | Ikke bestået | Ikke bestået | 0 af 4 | $2.47 |
| Mistral Small 4 | Ikke bestået | Ikke bestået | Ikke bestået | Ikke bestået | 0 af 4 | $1.33 |
Opgaverne
Hver side viser opgaven, som modellerne fik den, faldgruberne, alle kriterierne forklaret med ord, og hvad hver model gjorde forkert.
- Svar en kunde, der beder om refusion efter fristen for refusion
- Engelsk. 17 af 36 gennemførsler bestod.
- Svar på italiensk en kunde, der fejlagtigt tror, at hendes garanti er udløbet
- Italiensk. 31 af 36 gennemførsler bestod.
- Skriv en italiensk produktbeskrivelse af en olivenolie, der overholder mærkningsreglerne
- Italiensk. 21 af 36 gennemførsler bestod.
- Omsæt et teammøde i et bageri til beslutninger, ansvarlige og deadlines
- Engelsk. 30 af 36 gennemførsler bestod.
Lad en agent udføre arbejdet
En AIGROW-agent udfører den slags arbejde i dine egne værktøjer efter regler, du har godkendt skriftligt. Den sender det videre, som reglerne ikke dækker, i stedet for at gætte.
oktober 2026-udgaven