36 KI-Modelle im Test mit 20 echten Aufgaben kleiner Unternehmen

Die Erfolgsquote ist der Anteil bestandener Durchläufe. Darunter zeigt ein Balken das 95-%-Intervall: Die tatsächliche Erfolgsquote eines Modells könnte irgendwo innerhalb dieses Balkens liegen. Für die Kosten pro bestandenem Durchlauf werden die Kosten aller Durchläufe, einschließlich der fehlgeschlagenen, durch die Zahl der bestandenen Durchläufe geteilt. Ein Sternchen kennzeichnet Kosten, die anhand des Listenpreises des Anbieters berechnet wurden, weil der Provider keine Kosten gemeldet hat.

Bestes KI-Modell für Steuerberatungs- und Buchhaltungsfirmen

6 Aufgaben: einen italienischen Kontoauszug kategorisieren, Banktransaktionen kategorisieren, Rechnungsdaten extrahieren, Daten aus italienischen Lieferantenrechnungen extrahieren, italienische Freiberuflerrechnungen berechnen und Überstundenvergütung berechnen.

Bestes KI-Modell für Restaurants und Bars

4 Aufgaben: auf negative Bewertungen antworten, einen geschäftlichen Posteingang vorsortieren, Banktransaktionen kategorisieren und einen italienischen Kontoauszug kategorisieren.

Bestes KI-Modell für Geschäfte

4 Aufgaben: Erstattungsanfragen beantworten, Gewährleistungsansprüche auf Italienisch beantworten, italienische Produktbeschreibungen schreiben und Besprechungsprotokolle schreiben.

Bestes KI-Modell für Handwerks- und Dienstleistungsbetriebe

6 Aufgaben: einen Auftrag anhand einer Preisliste kalkulieren, Angebots-E-Mails schreiben, Vertriebsleads bewerten, Kundennachrichten zuordnen, Überstundenvergütung berechnen und Fragen zum Mitarbeiterhandbuch beantworten.

Bestanden oder nicht bestanden

Eine Antwort besteht nur, wenn sie alle festen Prüfkriterien erfüllt. Bei Aufgaben mit zusätzlichen Bewertungskriterien muss sie außerdem die meisten davon erfüllen. Die wichtigsten Kriterien sind zwingend. Teilpunkte gibt es nicht.

Feste Prüfkriterien

Strukturierte Antworten werden Feld für Feld mit den richtigen Werten abgeglichen, bei Geldbeträgen und Stunden mit einer Toleranz. Schriftliche Antworten werden darauf geprüft, was sie enthalten müssen, was sie nicht enthalten dürfen und wie lang sie sein dürfen. Derselbe Code bewertet jedes Modell.

Bewertung anhand von Kriterien

gpt-5-6-sol bewertet jedes Kriterium bei Temperatur null und begründet die Bewertung. Jede Antwort wird zweimal bewertet. Bei Kriterien, über die sich die beiden Bewertungen nicht einig sind, entscheidet eine dritte. Das eigene Gesamturteil des Modells wird ignoriert: Der Code wendet die Bestehensregel auf die bewerteten Kriterien an. Vor dem Testlauf wurde das Verfahren zweimal anhand von Antworten mit bekanntem Ergebnis geprüft.

Ein einheitliches Verfahren

Jeder Durchlauf besteht aus einer Nachricht mit Anweisungen und einer mit dem Material: keine Tools, keine Websuche, kein JSON-Modus, die Standardeinstellungen des jeweiligen Modells und bis zu 4,000 Token Ausgabe einschließlich der zum Schlussfolgern verwendeten Token. Eine Antwort, die an dieser Grenze abgeschnitten wird, wird so bewertet, wie sie vorliegt. 1 Durchläufe pro Modell und Aufgabe.

Überprüfte Regeln

Bevor eine Ausgabe veröffentlicht wird, wird jedes Scheitern an einer ausschlaggebenden Regel geprüft. Lässt eine Regel eine richtige Antwort scheitern, weil ein in den Anweisungen nicht verlangtes Detail fehlt, wird sie korrigiert und die betroffenen Antworten werden erneut bewertet. Eine Regel, die einen echten Fehler erkennt, bleibt bestehen, unabhängig davon, wie viele Modelle daran scheitern.

Kosten und Zeit

Ein Durchlauf kostet den vom Anbieter berechneten Betrag. Gibt der Anbieter keine Kosten an, werden die verbrauchten Token zum Listenpreis des Herstellers berechnet. Die Zeit wird von der Anfrage bis zum letzten Wort der Antwort gemessen; fehlgeschlagene Aufrufe werden dabei nicht berücksichtigt.

Konfidenzintervalle

Zu jeder Erfolgsquote gehört ein 95%-Wilson-Intervall. Bei nur wenigen Dutzend Durchläufen pro Modell kann ein Abstand von mehreren Prozentpunkten zwischen zwei Modellen Zufall sein. Die Balken machen das sichtbar.

Die Daten

Aufgaben, Prüfkriterien und Ergebnisse werden unter CC BY 4.0 veröffentlicht: Nennen Sie AIGROW als Quelle und verlinken Sie diese Seite. Jede Aufgabenseite enthält die Canary-Zeichenfolge der Ausgabe, damit die Aufgaben aus Trainingsdatensätzen herausgehalten werden können.