Beste KI-modell for butikker
Oppgavene i AIGROWs referansetest for småbedrifter som en butikk ville gitt til KI, og hvordan hver av 36 modeller klarte hver oppgave, vurdert som bestått eller ikke bestått etter skriftlige kriterier.
oktober 2026-utgaven, pilot, 1 kjøring per modell på hver oppgave.
- Qwen3.8 Flash
- 4 av 4
- Gemini 3.1 Pro (preview)
- 4 av 4
- DeepSeek V4.1 Flash
- 4 av 4
- DeepSeek V4 Pro
- 4 av 4
- Gemini 3.8 Flash
- 4 av 4
- Claude Sonnet 5
- 4 av 4
Ved delt plassering avgjør resultatet på tvers av alle 20 oppgavene.
AIGROWs referansetest for småbedrifter har 4 oppgaver som en butikk ville gitt til KI: svar på refusjonsforespørsler, svar på garantikrav på italiensk, skriving av italienske produktbeskrivelser og skriving av møtereferater. I oktober 2026-utgaven besto 12 modeller alle 4. Blant dem hadde DeepSeek V4.1 Flash lavest pris per tusen beståtte kjøringer på tvers av referansetesten: $1.05.
Alle modellenes resultater på disse oppgavene
Flest beståtte først. Ved delt plassering avgjør resultatet på tvers av alle 20 oppgavene. Kostnaden for 1,000 beståtte kjøringer beregnes for hele benchmarken, inkludert kjøringer som ikke besto.
| Modell | Svar på refusjonsforespørsler | Svar på garantikrav på italiensk | Skriving av italienske produktbeskrivelser | Skriving av møtereferater | Bestått | 1,000 beståtte kjøringer |
|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $1.09 |
| Gemini 3.1 Pro (preview) | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $29.67 |
| DeepSeek V4.1 Flash | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $1.05 |
| DeepSeek V4 Pro | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $5.14 |
| Gemini 3.8 Flash | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $7.17 |
| Claude Sonnet 5 | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $6.70 |
| Qwen3.8 Max | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $16.32 |
| Claude Opus 5 | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $16.89 |
| GPT-5.5 | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $17.02 |
| GPT-6 Astra | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $27.91 |
| GPT-5.6 Terra | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $6.68 |
| Kimi K2.6 | Bestått | Bestått | Bestått | Bestått | 4 av 4 | $11.68 |
| Kimi K3 | Bestått | Bestått | Ikke bestått | Bestått | 3 av 4 | $18.44 |
| GLM-5.3-Flash | Bestått | Bestått | Ikke bestått | Bestått | 3 av 4 | $0.831 |
| GLM-5.3 | Bestått | Bestått | Ikke bestått | Bestått | 3 av 4 | $7.02 |
| Grok 4.7 | Bestått | Bestått | Ikke bestått | Bestått | 3 av 4 | $9.41 |
| Qwen3.7 Plus | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $3.58 |
| GPT-5.6 Sol | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $11.33 |
| Claude Fable 5.1 | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $33.11 |
| GPT-5.6 Luna | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $0.677 |
| MiniMax M3 | Bestått | Bestått | Ikke bestått | Bestått | 3 av 4 | $1.82 |
| Claude Sonnet 4.6 | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $11.24 |
| Gemma 4 31B | Ikke bestått | Bestått | Bestått | Bestått | 3 av 4 | $0.558 |
| Muse Glimmer 30B | Ikke bestått | Bestått | Bestått | Ikke bestått | 2 av 4 | $3.10 |
| Grok 4.3 | Ikke bestått | Bestått | Ikke bestått | Bestått | 2 av 4 | $4.10 |
| Qwen3.8 27B | Ikke bestått | Bestått | Ikke bestått | Bestått | 2 av 4 | $7.30 |
| gpt-oss-120b | Ikke bestått | Bestått | Ikke bestått | Bestått | 2 av 4 | $0.422 |
| Llama 4 Maverick | Ikke bestått | Ikke bestått | Bestått | Bestått | 2 av 4 | $0.665 |
| GPT-5.4 mini | Ikke bestått | Bestått | Ikke bestått | Bestått | 2 av 4 | $3.35 |
| Mistral Medium 3.5 | Ikke bestått | Bestått | Ikke bestått | Bestått | 2 av 4 | $7.40 |
| Gemini 3.1 Flash-Lite | Ikke bestått | Ikke bestått | Bestått | Ikke bestått | 1 av 4 | $1.41 |
| Claude Haiku 4.5 | Ikke bestått | Bestått | Ikke bestått | Ikke bestått | 1 av 4 | $6.62 |
| GPT-5.4 nano | Ikke bestått | Ikke bestått | Ikke bestått | Bestått | 1 av 4 | $1.51 |
| Ministral 3 14B | Ikke bestått | Bestått | Ikke bestått | Ikke bestått | 1 av 4 | $1.07 |
| Gemini 3.5 Flash-Lite | Ikke bestått | Ikke bestått | Ikke bestått | Ikke bestått | 0 av 4 | $2.47 |
| Mistral Small 4 | Ikke bestått | Ikke bestått | Ikke bestått | Ikke bestått | 0 av 4 | $1.33 |
Oppgavene
Hver side viser oppgaven slik modellene fikk den, fallgruvene, alle vurderingskriteriene forklart med ord og hva hver modell gjorde feil.
- Svar en kunde som ber om refusjon etter at fristen for refusjon har gått ut
- Engelsk. 17 av 36 kjøringer besto.
- Svar på italiensk til en kunde som feilaktig tror at garantien hennes har utløpt
- Italiensk. 31 av 36 kjøringer besto.
- Skriv en italiensk produktbeskrivelse for en olivenolje som følger merkereglene
- Italiensk. 21 av 36 kjøringer besto.
- Gjør et teammøte i et bakeri om til beslutninger, ansvarlige og frister
- Engelsk. 30 av 36 kjøringer besto.
La en agent gjøre dette arbeidet
En AIGROW-agent gjør slikt arbeid i dine egne verktøy, etter regler du har godkjent skriftlig. Den eskalerer det reglene ikke dekker, i stedet for å gjette.
oktober 2026-utgaven