Beste KI-modell for regnskapsbyråer
Oppgavene i AIGROWs referansetest for småbedrifter som et regnskapsbyrå ville gitt til KI, og hvordan hver av 36 modeller klarte hver oppgave, vurdert som bestått eller ikke bestått etter skriftlige kriterier.
oktober 2026-utgaven, pilot, 1 kjøring per modell på hver oppgave.
- Qwen3.8 Flash
- 6 av 6
- Kimi K3
- 6 av 6
- Gemini 3.1 Pro (preview)
- 6 av 6
- GLM-5.3-Flash
- 6 av 6
- DeepSeek V4.1 Flash
- 6 av 6
- GLM-5.3
- 6 av 6
Ved delt plassering avgjør resultatet på tvers av alle 20 oppgavene.
AIGROWs referansetest for småbedrifter har 6 oppgaver som et regnskapsbyrå ville gitt til KI. I oktober 2026-utgaven besto 15 modeller alle 6. Blant dem hadde gpt-oss-120b lavest pris per tusen beståtte kjøringer på tvers av referansetesten: $0.422. Hver oppgaveside viser fallgruvene og feilene til hver modell.
Alle modellenes resultater på disse oppgavene
Flest beståtte først. Ved delt plassering avgjør resultatet på tvers av alle 20 oppgavene. Kostnaden for 1,000 beståtte kjøringer beregnes for hele benchmarken, inkludert kjøringer som ikke besto.
| Modell | Kategorisering av en italiensk kontoutskrift | Kategorisering av banktransaksjoner | Uthenting av fakturadata | Uthenting av data fra italienske leverandørfakturaer | Beregning av italienske fakturaer for selvstendig næringsdrivende | Beregning av overtidsbetaling | Bestått | 1,000 beståtte kjøringer |
|---|---|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $1.09 |
| Kimi K3 | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $18.44 |
| Gemini 3.1 Pro (preview) | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $29.67 |
| GLM-5.3-Flash | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $0.831 |
| DeepSeek V4.1 Flash | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $1.05 |
| GLM-5.3 | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $7.02 |
| Grok 4.7 | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $9.41 |
| Qwen3.7 Plus | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $3.58 |
| Claude Sonnet 5 | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $6.70 |
| GPT-5.6 Sol | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $11.33 |
| GPT-6 Astra | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $27.91 |
| Muse Glimmer 30B | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $3.10 |
| Grok 4.3 | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $4.10 |
| Qwen3.8 27B | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $7.30 |
| gpt-oss-120b | Bestått | Bestått | Bestått | Bestått | Bestått | Bestått | 6 av 6 | $0.422 |
| DeepSeek V4 Pro | Bestått | Ikke bestått | Bestått | Bestått | Bestått | Bestått | 5 av 6 | $5.14 |
| Gemini 3.8 Flash | Bestått | Bestått | Ikke bestått | Bestått | Bestått | Bestått | 5 av 6 | $7.17 |
| Qwen3.8 Max | Bestått | Bestått | Ikke bestått | Bestått | Bestått | Bestått | 5 av 6 | $16.32 |
| Claude Opus 5 | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $16.89 |
| GPT-5.5 | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $17.02 |
| Claude Fable 5.1 | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $33.11 |
| GPT-5.6 Terra | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $6.68 |
| MiniMax M3 | Bestått | Bestått | Bestått | Ikke bestått | Bestått | Bestått | 5 av 6 | $1.82 |
| Claude Sonnet 4.6 | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $11.24 |
| Kimi K2.6 | Bestått | Bestått | Bestått | Bestått | Bestått | Ikke bestått | 5 av 6 | $11.68 |
| GPT-5.6 Luna | Bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 4 av 6 | $0.677 |
| Gemini 3.5 Flash-Lite | Bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 4 av 6 | $2.47 |
| Gemma 4 31B | Ikke bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 3 av 6 | $0.558 |
| Gemini 3.1 Flash-Lite | Ikke bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 3 av 6 | $1.41 |
| GPT-5.4 mini | Ikke bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 3 av 6 | $3.35 |
| Claude Haiku 4.5 | Ikke bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 3 av 6 | $6.62 |
| GPT-5.4 nano | Ikke bestått | Ikke bestått | Bestått | Bestått | Bestått | Ikke bestått | 3 av 6 | $1.51 |
| Llama 4 Maverick | Ikke bestått | Ikke bestått | Bestått | Ikke bestått | Bestått | Ikke bestått | 2 av 6 | $0.665 |
| Mistral Medium 3.5 | Ikke bestått | Ikke bestått | Bestått | Ikke bestått | Bestått | Ikke bestått | 2 av 6 | $7.40 |
| Ministral 3 14B | Ikke bestått | Ikke bestått | Bestått | Ikke bestått | Bestått | Ikke bestått | 2 av 6 | $1.07 |
| Mistral Small 4 | Ikke bestått | Ikke bestått | Bestått | Ikke bestått | Bestått | Ikke bestått | 2 av 6 | $1.33 |
Oppgavene
Hver side viser oppgaven slik modellene fikk den, fallgruvene, alle vurderingskriteriene forklart med ord og hva hver modell gjorde feil.
- Kategoriser transaksjonene på kontoutskriften til en italiensk bar og summer dem
- Italiensk. 27 av 36 kjøringer besto.
- Kategoriser transaksjonene på en kafés månedlige kontoutskrift og summer driftskostnadene
- Engelsk. 24 av 36 kjøringer besto.
- Hent ut opplysninger fra en leverandørfaktura på to sider til bruk i leverandørreskontro
- Engelsk. 34 av 36 kjøringer besto.
- Hent ut opplysninger fra en italiensk leverandørfaktura med en utgiftslinje utenfor avgiftsgrunnlaget
- Italiensk. 31 av 36 kjøringer besto.
- Beregn to italienske fakturaer for profesjonelle tjenester med pensjonsbidrag, IVA og kildeskatt
- Italiensk. 36 av 36 kjøringer besto.
- Beregn ukentlig bruttolønn for en renholder, med pauser, overtid og søndagstillegg
- Engelsk. 19 av 36 kjøringer besto.
La en agent gjøre dette arbeidet
En AIGROW-agent gjør slikt arbeid i dine egne verktøy, etter regler du har godkjent skriftlig. Den eskalerer det reglene ikke dekker, i stedet for å gjette.
oktober 2026-utgaven