36 modèles d’IA face à 20 tâches réelles de petites entreprises

Le taux de réussite correspond à la part des exécutions réussies. Son intervalle à 95 % est représenté en dessous : le taux réel du modèle pourrait se situer n’importe où sur la barre. Le coût par réussite divise le coût de toutes les exécutions, échecs compris, par le nombre de réussites. Un astérisque indique un coût calculé à partir du tarif public du fabricant lorsque le fournisseur n’a communiqué aucun coût.

Meilleur modèle d’IA pour les cabinets comptables

6 tâches : catégoriser un relevé bancaire italien, catégoriser des transactions bancaires, extraire les données de factures, extraire les données de factures de fournisseurs italiens, calculer des factures de professionnels en Italie et calculer la rémunération des heures supplémentaires.

Meilleur modèle d’IA pour les restaurants et les bars

4 tâches : répondre aux avis négatifs, trier les e-mails d’une entreprise, catégoriser des transactions bancaires et catégoriser un relevé bancaire italien.

Meilleur modèle d’IA pour les commerces

4 tâches : répondre aux demandes de remboursement, répondre aux demandes de garantie en italien, rédiger des descriptions de produits en italien et rédiger des comptes rendus de réunion.

Meilleur modèle d’IA pour les artisans et les entreprises de services

6 tâches : chiffrer une prestation à partir d’une grille tarifaire, rédiger des e-mails de devis, évaluer des prospects commerciaux, orienter les messages des clients, calculer la rémunération des heures supplémentaires et répondre aux questions sur le manuel du personnel.

Réussite ou échec

Une réponse n’est acceptée que si elle satisfait à tous les contrôles fixes. Pour les tâches dotées d’une grille d’évaluation, elle doit aussi remplir la plupart de ses critères, dont tous les critères obligatoires. Aucun crédit partiel n’est accordé.

Contrôles fixes

Les réponses structurées sont comparées champ par champ aux valeurs attendues, avec une marge de tolérance pour les montants et les heures. Les réponses rédigées sont vérifiées selon ce qu’elles doivent dire, ce qu’elles ne doivent pas dire et leur longueur maximale. Le même code évalue tous les modèles.

L’évaluateur selon la grille

Les critères de la grille sont évalués par gpt-5-6-sol à température zéro, avec une justification pour chacun. Chaque réponse est évaluée deux fois, puis une troisième évaluation tranche tout désaccord sur un critère. Le verdict de l’évaluateur lui-même est ignoré : le code applique la règle de réussite aux critères évalués. Avant les essais, l’évaluateur a été testé deux fois sur des réponses dont le verdict était connu.

Un protocole unique

Chaque essai comprend un message de consignes et un message contenant les éléments de la tâche : aucun outil, aucune recherche sur le Web, aucun mode JSON, les paramètres d’échantillonnage par défaut de chaque modèle et jusqu’à 4,000 tokens en sortie, raisonnement compris. Une réponse interrompue à cette limite est évaluée telle quelle. 1 essais par modèle pour chaque tâche.

Règles auditées

Avant la publication d’une édition, chaque échec dû à une règle déterminante est examiné. Si une règle rejette une bonne réponse parce qu’elle omet un détail jamais demandé dans les consignes, elle est corrigée et les réponses concernées sont réévaluées. Une règle qui détecte une véritable erreur est conservée, quel que soit le nombre de modèles qu’elle fait échouer.

Coût et durée

Le coût d’un essai correspond au montant facturé par le fournisseur ou, si celui-ci ne communique aucun coût, au prix catalogue du créateur appliqué aux tokens utilisés. La durée va de l’envoi de la requête au dernier mot de la réponse. Les appels qui ont échoué en sont exclus.

Intervalles

Chaque taux de réussite est accompagné d’un intervalle de Wilson à 95 %. Avec quelques dizaines d’essais par modèle, plusieurs points d’écart entre deux modèles peuvent être dus au hasard. Les barres en tiennent compte.

Les données

Les tâches, les contrôles et les résultats sont publiés sous licence CC BY 4.0 : citez AIGROW et ajoutez un lien vers cette page. Chaque page de tâche contient la chaîne canari de l’édition, afin de permettre l’exclusion des tâches des jeux d’entraînement.