Bedste AI-model til revisionsfirmaer
Opgaverne i AIGROWs benchmark for små virksomheder, som et regnskabsfirma ville give til AI, og hvordan hver af 36 modeller klarede hver enkelt opgave, bedømt som bestået eller ikke bestået efter skriftlige kriterier.
oktober 2026-udgaven, pilotforsøg, 1 gennemførsel pr. model på hver opgave.
- Qwen3.8 Flash
- 6 af 6
- Kimi K3
- 6 af 6
- Gemini 3.1 Pro (preview)
- 6 af 6
- GLM-5.3-Flash
- 6 af 6
- DeepSeek V4.1 Flash
- 6 af 6
- GLM-5.3
- 6 af 6
Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver.
AIGROWs benchmark for små virksomheder indeholder 6 opgaver, som et regnskabsfirma ville give til AI. I oktober 2026-udgaven bestod 15 modeller alle 6. Blandt dem havde gpt-oss-120b de billigste beståede forsøg på tværs af benchmarken til $0.422 pr. tusind. Hver opgaveside viser faldgruberne og alle modellernes fejl.
Alle modeller på disse opgaver
Flest beståede opgaver først. Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver. Prisen for 1.000 beståede opgaver beregnes ud fra hele benchmarken, inklusive mislykkede gennemførsler.
| Model | Kategorisering af et italiensk kontoudtog | Kategorisering af banktransaktioner | Udtræk af fakturadata | Udtræk af data fra italienske leverandørfakturaer | Beregning af italienske fakturaer fra selvstændige | Beregning af overtidsbetaling | Beståede | 1.000 beståede opgaver |
|---|---|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $1.09 |
| Kimi K3 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $18.44 |
| Gemini 3.1 Pro (preview) | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $29.67 |
| GLM-5.3-Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $0.831 |
| DeepSeek V4.1 Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $1.05 |
| GLM-5.3 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $7.02 |
| Grok 4.7 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $9.41 |
| Qwen3.7 Plus | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $3.58 |
| Claude Sonnet 5 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $6.70 |
| GPT-5.6 Sol | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $11.33 |
| GPT-6 Astra | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $27.91 |
| Muse Glimmer 30B | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $3.10 |
| Grok 4.3 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $4.10 |
| Qwen3.8 27B | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $7.30 |
| gpt-oss-120b | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | $0.422 |
| DeepSeek V4 Pro | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Bestået | 5 af 6 | $5.14 |
| Gemini 3.8 Flash | Bestået | Bestået | Ikke bestået | Bestået | Bestået | Bestået | 5 af 6 | $7.17 |
| Qwen3.8 Max | Bestået | Bestået | Ikke bestået | Bestået | Bestået | Bestået | 5 af 6 | $16.32 |
| Claude Opus 5 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $16.89 |
| GPT-5.5 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $17.02 |
| Claude Fable 5.1 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $33.11 |
| GPT-5.6 Terra | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $6.68 |
| MiniMax M3 | Bestået | Bestået | Bestået | Ikke bestået | Bestået | Bestået | 5 af 6 | $1.82 |
| Claude Sonnet 4.6 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $11.24 |
| Kimi K2.6 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | $11.68 |
| GPT-5.6 Luna | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 4 af 6 | $0.677 |
| Gemini 3.5 Flash-Lite | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 4 af 6 | $2.47 |
| Gemma 4 31B | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | $0.558 |
| Gemini 3.1 Flash-Lite | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | $1.41 |
| GPT-5.4 mini | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | $3.35 |
| Claude Haiku 4.5 | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | $6.62 |
| GPT-5.4 nano | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | $1.51 |
| Llama 4 Maverick | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | $0.665 |
| Mistral Medium 3.5 | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | $7.40 |
| Ministral 3 14B | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | $1.07 |
| Mistral Small 4 | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | $1.33 |
Opgaverne
Hver side viser opgaven, som modellerne fik den, faldgruberne, alle kriterierne forklaret med ord, og hvad hver model gjorde forkert.
- Kategorisér posteringerne på en italiensk bars kontoudtog, og opgør de samlede ind- og udbetalinger
- Italiensk. 27 af 36 gennemførsler bestod.
- Kategorisér en cafés månedlige kontoudtog, og opgør dens driftsomkostninger
- Engelsk. 24 af 36 gennemførsler bestod.
- Udtræk oplysninger fra en leverandørfaktura på to sider til kreditorbogholderiet
- Engelsk. 34 af 36 gennemførsler bestod.
- Udtræk oplysninger fra en italiensk leverandørfaktura med en udgiftslinje, der ikke indgår i momsgrundlaget
- Italiensk. 31 af 36 gennemførsler bestod.
- Beregn to italienske fakturaer fra en selvstændig med pensionsbidrag, IVA og kildeskat
- Italiensk. 36 af 36 gennemførsler bestod.
- Beregn en rengøringsmedarbejders ugentlige bruttoløn med pauser, overarbejde og søndagstillæg
- Engelsk. 19 af 36 gennemførsler bestod.
Lad en agent udføre arbejdet
En AIGROW-agent udfører den slags arbejde i dine egne værktøjer efter regler, du har godkendt skriftligt. Den sender det videre, som reglerne ikke dækker, i stedet for at gætte.
oktober 2026-udgaven