Documentação de API testada por agentes de programação: 20 tarefas de integração tentadas apenas a partir da sua documentação, com as lacunas que travaram o agente e os excertos reescritos

O Claude Code, o agente de programação da Anthropic, executado sem intervenção humana e com o mesmo prompt fixo para todas as tarefas. Se quiser uma comparação, diga-o na sua resposta: as mesmas tarefas são então executadas com um segundo agente de programação de outro fornecedor, como o OpenAI Codex, e o relatório mostra ambos lado a lado.

De uma chave de sandbox ou de teste com limite de gastos e sem acesso a dados nem dinheiro de produção. Nunca envie credenciais de produção: se uma chave afinal der acesso à produção, paramos, pedimos-lhe que a revogue e solicitamos uma chave de sandbox. Pode revogar a chave a qualquer momento e nós eliminamo-la quando o trabalho termina.

O agente chama a sua API para verificar o próprio trabalho, por isso precisamos de uma conta de sandbox ou de teste antes de as execuções começarem. Se não nos puder dar uma, peça o reembolso total antes de as execuções começarem.

Cada tarefa tem uma verificação escrita antes das execuções, por exemplo um script que pergunta ao seu sandbox se o registo existe ou se o webhook chegou. Uma tarefa é aprovada quando a verificação passa em até 3 tentativas. A tabela também conta as tentativas, por isso uma aprovação à terceira tentativa continua a mostrar a lacuna.

Não. O llms.txt é uma proposta de setembro de 2024 para um ficheiro que indica aos modelos de linguagem as páginas principais de um site. Se já tem um, o agente recebe-o juntamente com a sua documentação; se não tem, escrevemos uma sugestão de llms.txt e llms-full.txt a partir da sua documentação. Não afirmamos que algum assistente de IA leia o ficheiro por iniciativa própria.

Não prometemos isso, nem mais registos. O teste mede o desempenho de um agente de programação nas suas tarefas com a sua documentação, e as passagens reescritas eliminam o que o bloqueou. O que os programadores escolhem depende deles.

Sim. Encomende o teste outra vez ao mesmo preço e indique que é uma repetição: executamos as mesmas tarefas com o mesmo prompt e mostramos os resultados ao lado da primeira execução.

Sim. Envie uma exportação, como ficheiros Markdown ou HTML ou um ficheiro OpenAPI, e o agente lê essa cópia em vez do seu site público.

São usados apenas para o seu relatório. A chave é eliminada na entrega, e os seus ficheiros e registos 30 dias após a entrega, ou mais cedo se o pedir, com confirmação por escrito. O Claude Code funciona ao abrigo dos termos comerciais da Anthropic, que indicam que a Anthropic não treina os seus modelos com o código ou os prompts que lhe são enviados.

Não. Se o seu próprio produto chama modelos da OpenAI, da Anthropic ou da Google e a fatura continua a crescer, a revisão de custos de API de LLM, por 990 €, detalha o gasto por funcionalidade e redige as alterações que o reduzem.