36 modelos de IA ante 20 tareas reales de pequeñas empresas

La tasa de éxito es la proporción de ejecuciones superadas. Debajo se muestra su intervalo del 95%: la tasa real de un modelo podría estar en cualquier punto de esa barra. El coste por acierto se calcula dividiendo el coste de todas las ejecuciones, incluidas las fallidas, entre las que se superaron. Un asterisco indica que el coste se calculó según el precio de lista del fabricante cuando el proveedor no comunicó ninguno.

Mejor modelo de IA para despachos contables

6 tareas: clasificar un extracto bancario italiano, clasificar movimientos bancarios, extraer datos de facturas, extraer datos de facturas de proveedores italianos, calcular facturas de profesionales italianos y calcular el pago de horas extra.

Mejor modelo de IA para restaurantes y bares

4 tareas: responder a reseñas negativas, clasificar los correos de una empresa, clasificar movimientos bancarios y clasificar un extracto bancario italiano.

Mejor modelo de IA para tiendas

4 tareas: responder a solicitudes de reembolso, responder a reclamaciones de garantía en italiano, redactar descripciones de productos en italiano y redactar actas de reuniones.

Mejor modelo de IA para empresas de oficios y servicios

6 tareas: calcular el precio de un trabajo a partir de una lista de precios, redactar correos de presupuestos, puntuar leads de ventas, derivar mensajes de clientes, calcular el pago de horas extra y responder preguntas sobre el manual del personal.

Aprobado o suspenso

Una respuesta solo aprueba si supera todas las comprobaciones fijas. En las tareas que también tienen rúbrica, debe cumplir además la mayoría de sus criterios, incluidos obligatoriamente los más importantes. No hay puntuación parcial.

Comprobaciones fijas

Las respuestas estructuradas se comprueban campo por campo frente a los valores correctos, con un margen de tolerancia para importes y horas. En las respuestas escritas se comprueba qué deben decir, qué no deben decir y su longitud máxima. El mismo código evalúa todos los modelos.

El evaluador de la rúbrica

gpt-5-6-sol evalúa cada criterio de la rúbrica con temperatura cero y explica el motivo. Cada respuesta se evalúa dos veces; si hay discrepancias sobre algún criterio, una tercera evaluación las resuelve. Se ignora el veredicto del propio evaluador: el código aplica la regla de aprobado a los criterios evaluados. Antes de la ejecución, el evaluador se probó dos veces con respuestas cuyo veredicto ya se conocía.

Un único protocolo

Cada ejecución consta de un mensaje de instrucciones y otro con el material: sin herramientas, sin búsquedas web, sin modo JSON, con la configuración de muestreo predeterminada de cada modelo y un máximo de 4,000 tokens de salida, incluido el razonamiento. Si una respuesta se corta al alcanzar ese límite, se evalúa tal como queda. 1 ejecución por modelo en cada tarea.

Reglas auditadas

Antes de publicar una edición, se revisan todos los fallos causados por una regla decisiva. Si una regla suspende una respuesta correcta por omitir un detalle que las instrucciones nunca pidieron, se corrige y se vuelven a evaluar esas respuestas. Si detecta un error real, se mantiene, por muchos modelos que suspenda.

Coste y tiempo

El coste de una ejecución es el importe facturado por el proveedor o, si no informa del coste, el de sus tokens según el precio de catálogo del creador del modelo. El tiempo se mide desde la solicitud hasta la última palabra de la respuesta; las llamadas fallidas no se incluyen.

Intervalos

Cada tasa de aciertos incluye un intervalo de Wilson del 95%. Con unas pocas decenas de ejecuciones por modelo, una diferencia de varios puntos entre dos modelos puede deberse al azar, y las barras lo reflejan.

Los datos

Las tareas, comprobaciones y resultados se publican bajo la licencia CC BY 4.0: cita a AIGROW y enlaza esta página. Cada página de tarea incluye la cadena señuelo de la edición para que las tareas puedan excluirse de los conjuntos de entrenamiento.