36 modelos de IA em 20 tarefas reais de pequenas empresas

A taxa de sucesso é a proporção de execuções aprovadas, com o intervalo de 95% apresentado por baixo: a taxa real do modelo pode situar-se em qualquer ponto da barra. O custo por aprovação divide o custo de todas as execuções, incluindo as reprovadas, pelo número de execuções aprovadas. Um asterisco indica um custo calculado com base no preço de tabela do fabricante, quando o fornecedor não informou o custo.

Melhor modelo de IA para escritórios de contabilidade

6 tarefas: categorizar um extrato bancário italiano, categorizar transações bancárias, extrair dados de faturas, extrair dados de faturas de fornecedores italianos, calcular faturas de profissionais liberais em Itália e calcular o pagamento de horas extras.

Melhor modelo de IA para restaurantes e bares

4 tarefas: responder a avaliações negativas, fazer a triagem da caixa de entrada de uma empresa, categorizar transações bancárias e categorizar um extrato bancário italiano.

Melhor modelo de IA para lojas

4 tarefas: responder a pedidos de reembolso, responder a pedidos de garantia em italiano, escrever descrições de produtos em italiano e redigir atas de reuniões.

Melhor modelo de IA para profissionais de ofícios e serviços

6 tarefas: definir o preço de um serviço com base numa tabela de preços, redigir emails com orçamentos, classificar leads de vendas, encaminhar mensagens de clientes, calcular o pagamento de horas extras e responder a perguntas sobre o manual dos colaboradores.

Passa ou falha

Uma resposta só passa se cumprir todas as verificações fixas. Nas tarefas que também incluem critérios de avaliação, tem de cumprir a maioria deles, incluindo obrigatoriamente os mais importantes. Não há aprovação parcial.

Verificações fixas

As respostas estruturadas são verificadas campo a campo face aos valores corretos, com uma margem de tolerância para montantes e horas. Nas respostas escritas, verifica-se o que devem dizer, o que não podem dizer e o limite de extensão. O mesmo código avalia todos os modelos.

O avaliador por critérios

Os critérios são avaliados por gpt-5-6-sol com temperatura zero, cada um com uma justificação. Cada resposta é avaliada duas vezes, e uma terceira avaliação resolve qualquer divergência entre as duas. O veredito do próprio modelo é ignorado: o código aplica a regra de aprovação aos critérios que ele avaliou. Antes das execuções, o avaliador foi testado duas vezes com respostas cujo resultado já era conhecido.

Um único protocolo

Cada execução inclui uma mensagem de instruções e outra com o material: sem ferramentas, sem pesquisa na web, sem modo JSON, com as definições de amostragem padrão de cada modelo e até 4,000 tokens de saída, incluindo o raciocínio. Se uma resposta for interrompida nesse limite, é avaliada tal como ficou. 1 execuções por modelo em cada tarefa.

Regras auditadas

Antes da publicação de cada edição, todas as reprovações causadas por uma regra decisiva são analisadas. Se uma regra reprovar uma resposta correta por omitir um detalhe que as instruções nunca pediram, é corrigida e essas respostas são avaliadas novamente. Uma regra que detete um erro real permanece, independentemente de quantos modelos reprove.

Custo e tempo

O custo de uma execução é o valor cobrado pelo fornecedor ou, quando este não informa o custo, o valor dos tokens ao preço de tabela do fabricante. O tempo vai do pedido até à última palavra da resposta; as chamadas que falharam não entram no cálculo.

Intervalos

Cada taxa de aprovação inclui um intervalo de Wilson de 95%. Com algumas dezenas de execuções por modelo, uma diferença de vários pontos entre dois modelos pode dever-se ao acaso, e as barras mostram essa incerteza.

Os dados

As tarefas, verificações e resultados são publicados sob a licença CC BY 4.0: cite a AIGROW e inclua um link para esta página. Cada página de tarefa contém a string canário da edição, para ajudar a manter as tarefas fora dos conjuntos de treino.