36 KI-modeller testet på 20 reelle oppgaver fra små bedrifter

Beståttandelen er andelen kjøringer som besto, med et 95 % konfidensintervall vist under: Modellens faktiske beståttandel kan ligge hvor som helst på stolpen. Kostnad per beståtte kjøring er kostnaden for alle kjøringer, også de som ikke besto, delt på antallet som besto. En stjerne markerer en kostnad beregnet ut fra produsentens listepris når leverandøren ikke oppga noen kostnad.

Beste KI-modell for regnskapsbyråer

6 oppgaver: kategorisering av en italiensk kontoutskrift, kategorisering av banktransaksjoner, uthenting av fakturadata, uthenting av data fra italienske leverandørfakturaer, beregning av italienske fakturaer for selvstendig næringsdrivende og beregning av overtidsbetaling.

Beste KI-modell for restauranter og barer

4 oppgaver: svar på negative anmeldelser, sortering av e-post i en bedrifts innboks, kategorisering av banktransaksjoner og kategorisering av en italiensk kontoutskrift.

Beste KI-modell for butikker

4 oppgaver: svar på refusjonsforespørsler, svar på garantikrav på italiensk, skriving av italienske produktbeskrivelser og skriving av møtereferater.

Beste KI-modell for håndverksbedrifter og tjenesteytere

6 oppgaver: prissetting av et oppdrag ut fra en prisliste, skriving av tilbud på e-post, scoring av salgsleads, sortering av kundemeldinger, beregning av overtidsbetaling og svar på spørsmål om personalhåndboken.

Bestått eller ikke bestått

Et svar består bare hvis det består alle faste kontroller. På oppgaver som også har vurderingskriterier, må svaret oppfylle de fleste av dem, og de viktigste kriteriene er obligatoriske. Det gis ikke delvis uttelling.

Faste kontroller

Strukturerte svar kontrolleres felt for felt mot riktige verdier, med en feilmargin for beløp og timer. Skriftlige svar kontrolleres for hva de må si, hva de ikke må si, og hvor lange de kan være. Den samme koden vurderer alle modellene.

Vurdering etter kriterier

gpt-5-6-sol vurderer hvert kriterium ved temperatur null og begrunner vurderingen. Hvert svar vurderes to ganger, og en tredje vurdering avgjør kriterier der de to første er uenige. Modellens egen konklusjon ignoreres: Koden bruker beståttregelen på kriteriene modellen har vurdert. Før kjøringen ble den testet to ganger på svar med kjent resultat.

Én protokoll

Hver kjøring består av én melding med instruksjoner og én med materialet: ingen verktøy, ingen nettsøk, ingen JSON-modus, hver modells standardinnstillinger for sampling og opptil 4,000 tokens i svaret, inkludert resonnering. Et svar som kuttes ved denne grensen, vurderes slik det foreligger. 1 kjøring per modell på hver oppgave.

Gjennomgåtte regler

Før en utgave publiseres, gjennomgår vi alle svar som stryker på en avgjørende regel. Hvis en regel stryker et riktig svar fordi det mangler en detalj instruksjonene aldri ba om, retter vi regelen og vurderer svarene på nytt. En regel som fanger opp en reell feil, beholdes uansett hvor mange modeller som stryker på den.

Kostnad og tid

Kostnaden for en kjøring er det leverandøren fakturerte, eller, hvis leverandøren ikke oppgir noen kostnad, antall tokens beregnet etter produsentens listepris. Tiden måles fra forespørselen sendes til siste ord i svaret. Mislykkede kall er utelatt.

Intervaller

Hver andel beståtte har et Wilson-intervall på 95 %. Med noen titalls kjøringer per modell kan en forskjell på flere prosentpoeng mellom to modeller skyldes tilfeldigheter. Stolpene viser denne usikkerheten.

Dataene

Oppgaver, kontroller og resultater er publisert under CC BY 4.0: oppgi AIGROW som kilde og lenk til denne siden. Hver oppgaveside inneholder utgavens kanaristreng, slik at oppgavene kan holdes utenfor treningsdatasett.