Bästa AI-modellen för butiker
Uppgifterna i AIGROWs jämförelsetest för småföretag som en butik skulle ge till AI, och hur var och en av 36 modeller klarade varje uppgift. Resultaten bedöms som godkända eller underkända enligt skriftliga kriterier.
Utgåvan för oktober 2026, pilotstudie, 1 körning per modell och uppgift.
- Qwen3.8 Flash
- 4 av 4
- Gemini 3.1 Pro (preview)
- 4 av 4
- DeepSeek V4.1 Flash
- 4 av 4
- DeepSeek V4 Pro
- 4 av 4
- Gemini 3.8 Flash
- 4 av 4
- Claude Sonnet 5
- 4 av 4
Vid lika resultat avgör resultatet för samtliga 20 uppgifter.
AIGROWs jämförelsetest för småföretag innehåller 4 uppgifter som en butik skulle ge till AI: besvara önskemål om återbetalning, besvara garantiärenden på italienska, skriva italienska produktbeskrivningar och skriva mötesanteckningar. I oktober 2026-upplagan klarade 12 modeller alla 4. Bland dem hade DeepSeek V4.1 Flash lägst kostnad per godkänt resultat i hela benchmarken: $1.05 per tusen.
Alla modeller på de här uppgifterna
Flest godkända resultat först. Vid lika resultat avgör utfallet för samtliga 20 uppgifter. Kostnaden per 1,000 godkända resultat bygger på hela benchmarken, även underkända körningar.
| Modell | Besvara önskemål om återbetalning | Besvara garantiärenden på italienska | Skriva italienska produktbeskrivningar | Skriva mötesanteckningar | Godkänd | 1 000 godkända körningar |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $1.09 |
| Gemini 3.1 Pro (preview) | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $29.67 |
| DeepSeek V4.1 Flash | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $1.05 |
| DeepSeek V4 Pro | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $5.14 |
| Gemini 3.8 Flash | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $7.17 |
| Claude Sonnet 5 | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $6.70 |
| Qwen3.8 Max | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $16.32 |
| Claude Opus 5 | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $16.89 |
| GPT-5.5 | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $17.02 |
| GPT-6 Astra | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $27.91 |
| GPT-5.6 Terra | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $6.68 |
| Kimi K2.6 | Godkänd | Godkänd | Godkänd | Godkänd | 4 av 4 | $11.68 |
| Kimi K3 | Godkänd | Godkänd | Underkänd | Godkänd | 3 av 4 | $18.44 |
| GLM-5.3-Flash | Godkänd | Godkänd | Underkänd | Godkänd | 3 av 4 | $0.831 |
| GLM-5.3 | Godkänd | Godkänd | Underkänd | Godkänd | 3 av 4 | $7.02 |
| Grok 4.7 | Godkänd | Godkänd | Underkänd | Godkänd | 3 av 4 | $9.41 |
| Qwen3.7 Plus | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $3.58 |
| GPT-5.6 Sol | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $11.33 |
| Claude Fable 5.1 | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $33.11 |
| GPT-5.6 Luna | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $0.677 |
| MiniMax M3 | Godkänd | Godkänd | Underkänd | Godkänd | 3 av 4 | $1.82 |
| Claude Sonnet 4.6 | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $11.24 |
| Gemma 4 31B | Underkänd | Godkänd | Godkänd | Godkänd | 3 av 4 | $0.558 |
| Muse Glimmer 30B | Underkänd | Godkänd | Godkänd | Underkänd | 2 av 4 | $3.10 |
| Grok 4.3 | Underkänd | Godkänd | Underkänd | Godkänd | 2 av 4 | $4.10 |
| Qwen3.8 27B | Underkänd | Godkänd | Underkänd | Godkänd | 2 av 4 | $7.30 |
| gpt-oss-120b | Underkänd | Godkänd | Underkänd | Godkänd | 2 av 4 | $0.422 |
| Llama 4 Maverick | Underkänd | Underkänd | Godkänd | Godkänd | 2 av 4 | $0.665 |
| GPT-5.4 mini | Underkänd | Godkänd | Underkänd | Godkänd | 2 av 4 | $3.35 |
| Mistral Medium 3.5 | Underkänd | Godkänd | Underkänd | Godkänd | 2 av 4 | $7.40 |
| Gemini 3.1 Flash-Lite | Underkänd | Underkänd | Godkänd | Underkänd | 1 av 4 | $1.41 |
| Claude Haiku 4.5 | Underkänd | Godkänd | Underkänd | Underkänd | 1 av 4 | $6.62 |
| GPT-5.4 nano | Underkänd | Underkänd | Underkänd | Godkänd | 1 av 4 | $1.51 |
| Ministral 3 14B | Underkänd | Godkänd | Underkänd | Underkänd | 1 av 4 | $1.07 |
| Gemini 3.5 Flash-Lite | Underkänd | Underkänd | Underkänd | Underkänd | 0 av 4 | $2.47 |
| Mistral Small 4 | Underkänd | Underkänd | Underkänd | Underkänd | 0 av 4 | $1.33 |
Uppgifterna
Varje sida visar uppgiften precis som modellerna fick den, fallgroparna, alla kontroller beskrivna i ord och vad varje modell gjorde fel.
- Svara en kund som begär återbetalning efter att tidsfristen för återbetalning löpt ut
- Engelska. 17 av 36 körningar godkändes.
- Svara på italienska en kund som felaktigt tror att hennes garanti har gått ut
- Italienska. 31 av 36 körningar godkändes.
- Skriv en italiensk produktbeskrivning av en olivolja som följer märkningsreglerna
- Italienska. 21 av 36 körningar godkändes.
- Sammanställ beslut, ansvariga och datum från ett möte med bageriteamet
- Engelska. 30 av 36 körningar godkändes.
Låt en agent ta hand om arbetet
En AIGROW-agent utför sådant arbete i dina egna verktyg, enligt regler som du har godkänt skriftligen. När reglerna inte räcker till lämnar agenten över ärendet i stället för att gissa.
Utgåvan för oktober 2026