Bedste AI-model til revisionsfirmaer, testet den 23. september 2026
Opgaverne i AIGROWs benchmark for små virksomheder, som et regnskabsfirma ville give til AI, og hvordan hver af 36 modeller klarede hver enkelt opgave, bedømt som bestået eller ikke bestået efter skriftlige kriterier.
Et pilotforsøg: 1 kørsel pr. model på hver opgave. Denne test blev kørt 23. september 2026. Siden da har udviklerne erstattet 16 af dens 36 modeller med nyere, og den omfattede ikke 16 aktuelle modeller på vores liste. LLM-ranglisten rangerer aktuelle modeller efter målte resultater.
- Qwen3.8 Flash
- 6 af 6
- Kimi K3
- 6 af 6
- Gemini 3.1 Pro (preview)
- 6 af 6
- GLM-5.3-Flash
- 6 af 6
- DeepSeek V4.1 Flash
- 6 af 6
- GLM-5.3
- 6 af 6
AIGROWs benchmark for små virksomheder indeholder 6 opgaver, som et regnskabsfirma ville give til AI. Den 23. september 2026 bestod 15 modeller alle 6; blandt dem gav gpt-oss-120b de billigste beståede på tværs af benchmarken, 0,422 US$ pr. tusind. Hver opgaveside viser faldgruberne og alle modellernes fejl.
Alle modeller på disse opgaver
Flest beståede opgaver først. Ved uafgjort vinder modellen med det bedste resultat på tværs af alle 20 opgaver. Prisen for 1.000 beståede opgaver beregnes ud fra hele benchmarken, inklusive mislykkede gennemførsler.
| Model | Kategorisering af et italiensk kontoudtog | Kategorisering af banktransaktioner | Udtræk af fakturadata | Udtræk af data fra italienske leverandørfakturaer | Beregning af italienske fakturaer fra selvstændige | Beregning af overtidsbetaling | Beståede | 1.000 beståede opgaver |
|---|---|---|---|---|---|---|---|---|
| Qwen3.8 Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 1,09 US$ |
| Kimi K3Erstattet af Kimi K3.1 Pro | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 18,44 US$ |
| Gemini 3.1 Pro (preview)Erstattet af Gemini 4 Argon | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 29,67 US$ |
| GLM-5.3-Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 0,831 US$ |
| DeepSeek V4.1 Flash | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 1,05 US$ |
| GLM-5.3 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 7,02 US$ |
| Grok 4.7 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 9,41 US$ |
| Qwen3.7 Plus | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 3,58 US$ |
| Claude Sonnet 5Erstattet af Claude Sonnet 5.5 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 6,70 US$ |
| GPT-5.6 SolErstattet af GPT-6.1 Sol | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 11,33 US$ |
| GPT-6 Astra | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 27,91 US$ |
| Muse Glimmer 30B | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 3,10 US$ |
| Grok 4.3 | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 4,10 US$ |
| Qwen3.8 27B | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 7,30 US$ |
| gpt-oss-120b | Bestået | Bestået | Bestået | Bestået | Bestået | Bestået | 6 af 6 | 0,422 US$ |
| DeepSeek V4 Pro | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Bestået | 5 af 6 | 5,14 US$ |
| Gemini 3.8 Flash | Bestået | Bestået | Ikke bestået | Bestået | Bestået | Bestået | 5 af 6 | 7,17 US$ |
| Qwen3.8 Max | Bestået | Bestået | Ikke bestået | Bestået | Bestået | Bestået | 5 af 6 | 16,32 US$ |
| Claude Opus 5Erstattet af Claude Opus 5.5 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 16,89 US$ |
| GPT-5.5Erstattet af GPT-6 Astra | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 17,02 US$ |
| Claude Fable 5.1Erstattet af Claude Fable 5.2 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 33,11 US$ |
| GPT-5.6 TerraErstattet af GPT-6.1 Terra | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 6,68 US$ |
| MiniMax M3 | Bestået | Bestået | Bestået | Ikke bestået | Bestået | Bestået | 5 af 6 | 1,82 US$ |
| Claude Sonnet 4.6Erstattet af Claude Sonnet 5.5 | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 11,24 US$ |
| Kimi K2.6Erstattet af Kimi K3.1 Pro | Bestået | Bestået | Bestået | Bestået | Bestået | Ikke bestået | 5 af 6 | 11,69 US$ |
| GPT-5.6 LunaErstattet af GPT-6 Luna | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 4 af 6 | 0,677 US$ |
| Gemini 3.5 Flash-Lite | Bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 4 af 6 | 2,47 US$ |
| Gemma 4 31B | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | 0,558 US$ |
| Gemini 3.1 Flash-LiteErstattet af Gemini 3.5 Flash-Lite | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | 1,41 US$ |
| GPT-5.4 miniErstattet af GPT-6.1 Terra | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | 3,35 US$ |
| Claude Haiku 4.5Erstattet af Claude Haiku 5.5 | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | 6,62 US$ |
| GPT-5.4 nanoErstattet af GPT-6 Luna | Ikke bestået | Ikke bestået | Bestået | Bestået | Bestået | Ikke bestået | 3 af 6 | 1,51 US$ |
| Llama 4 Maverick | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | 0,665 US$ |
| Mistral Medium 3.5Erstattet af Mistral Large 4 | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | 7,40 US$ |
| Ministral 3 14B | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | 1,07 US$ |
| Mistral Small 4 | Ikke bestået | Ikke bestået | Bestået | Ikke bestået | Bestået | Ikke bestået | 2 af 6 | 1,33 US$ |
Opgaverne
Hver side viser opgaven, som modellerne fik den, faldgruberne, alle kriterierne forklaret med ord, og hvad hver model gjorde forkert.
- Kategorisér posteringerne på en italiensk bars kontoudtog, og opgør de samlede ind- og udbetalinger
- Italiensk. 27 af 36 gennemførsler bestod.
- Kategorisér en cafés månedlige kontoudtog, og opgør dens driftsomkostninger
- Engelsk. 24 af 36 gennemførsler bestod.
- Udtræk oplysninger fra en leverandørfaktura på to sider til kreditorbogholderiet
- Engelsk. 34 af 36 gennemførsler bestod.
- Udtræk oplysninger fra en italiensk leverandørfaktura med en udgiftslinje, der ikke indgår i momsgrundlaget
- Italiensk. 31 af 36 gennemførsler bestod.
- Beregn to italienske fakturaer fra en selvstændig med pensionsbidrag, IVA og kildeskat
- Italiensk. 36 af 36 gennemførsler bestod.
- Beregn en rengøringsmedarbejders ugentlige bruttoløn med pauser, overarbejde og søndagstillæg
- Engelsk. 19 af 36 gennemførsler bestod.
Lad en agent udføre arbejdet
En AIGROW-agent udfører den slags arbejde i dine egne værktøjer efter regler, du har godkendt skriftligt. Den sender det videre, som reglerne ikke dækker, i stedet for at gætte.
oktober 2026-udgaven