Documentación de API probada por agentes de programación: 20 tareas de integración intentadas solo con tu documentación, con las lagunas que detuvieron al agente y los pasajes reescritos

Claude Code, el agente de programación de Anthropic, ejecutado sin intervención humana y con el mismo prompt fijo en todas las tareas. Si quieres una comparación, indícalo en tu respuesta: entonces ejecutamos las mismas tareas con un segundo agente de programación de otro proveedor, como OpenAI Codex, y el informe muestra ambos resultados lado a lado.

Una clave de sandbox o de prueba con límite de gasto y sin acceso a datos de producción ni a dinero. No envíes nunca credenciales de producción: si resulta que una clave llega a producción, paramos, te pedimos que la revoques y solicitamos una clave de sandbox. Puedes revocar la clave en cualquier momento y nosotros la eliminamos al terminar el trabajo.

El agente llama a tu API para comprobar su propio trabajo, así que necesitamos un sandbox o una cuenta de prueba antes de que empiecen las ejecuciones. Si no puedes proporcionárnoslo, pide el reembolso completo antes de que empiecen.

Cada tarea tiene una comprobación escrita antes de las ejecuciones, por ejemplo un script que pregunta a tu sandbox si existe el registro o si llegó el webhook. Una tarea se supera cuando su comprobación se supera en un máximo de 3 intentos. La tabla también cuenta los intentos, de modo que un acierto al tercer intento sigue mostrando la brecha.

No. llms.txt es una propuesta de septiembre de 2024 para un archivo que dirige a los modelos de lenguaje a las páginas principales de un sitio. Si ya tienes uno, el agente lo recibe junto con tu documentación; si no tienes ninguno, redactamos una propuesta de llms.txt y llms-full.txt a partir de tu documentación. No afirmamos que ningún asistente de IA lea el archivo por sí solo.

No prometemos eso, ni más registros. La prueba mide cómo se desenvuelve un agente de programación en tus tareas con tu documentación, y los pasajes reescritos eliminan lo que lo bloqueó. Lo que elijan los desarrolladores depende de ellos.

Sí. Vuelve a pedir la prueba al mismo precio e indica que es una repetición: ejecutamos las mismas tareas con el mismo prompt y mostramos los resultados junto a los de la primera ejecución.

Sí. Envía una exportación, como archivos Markdown o HTML o un archivo OpenAPI, y el agente lee esa copia en lugar de tu sitio público.

Se usan únicamente para tu informe. La clave se elimina en la entrega, y tus archivos y registros 30 días después de la entrega, o antes si lo pides, con una confirmación por escrito. Claude Code funciona bajo las condiciones comerciales de Anthropic, que establecen que Anthropic no entrena sus modelos con el código ni los prompts que se le envían.

No. Si tu propio producto llama a modelos de OpenAI, Anthropic o Google y la factura sigue creciendo, la revisión de costes de API de LLM, por 990 €, desglosa el gasto por funcionalidad y redacta los cambios que lo reducen.