API-Dokumentation von Coding-Agenten getestet: 20 Integrationsaufgaben, allein anhand Ihrer Doku bearbeitet, mit den Lücken, an denen der Agent scheiterte, und den überarbeiteten Passagen

Claude Code, der Coding-Agent von Anthropic, ohne menschliches Eingreifen und mit demselben festen Prompt für jede Aufgabe. Wenn Sie einen Vergleich wünschen, geben Sie das in Ihrer Antwort an: Dann laufen dieselben Aufgaben mit einem zweiten Coding-Agenten eines anderen Anbieters, etwa OpenAI Codex, und der Bericht zeigt beide nebeneinander.

Einen Sandbox- oder Test-Key mit Ausgabenlimit und ohne Zugriff auf Produktionsdaten oder Geld. Senden Sie niemals Zugangsdaten der Produktion: Stellt sich heraus, dass ein Key die Produktion erreicht, brechen wir ab, bitten Sie, ihn zu widerrufen, und fordern einen Sandbox-Key an. Sie können den Key jederzeit widerrufen, und wir löschen ihn nach Abschluss der Arbeit.

Der Agent ruft Ihre API auf, um seine eigene Arbeit zu prüfen, daher brauchen wir vor Beginn der Durchläufe eine Sandbox oder ein Testkonto. Können Sie uns keines bereitstellen, verlangen Sie vor Beginn der Durchläufe die vollständige Rückerstattung.

Für jede Aufgabe gibt es eine Prüfung, die vor den Durchläufen geschrieben wurde, zum Beispiel ein Skript, das Ihre Sandbox fragt, ob der Datensatz existiert oder der Webhook angekommen ist. Eine Aufgabe gilt als bestanden, wenn ihre Prüfung innerhalb von 3 Versuchen erfolgreich ist. Die Tabelle zählt auch die Versuche, sodass ein Erfolg erst im dritten Anlauf die Lücke trotzdem sichtbar macht.

Nein. llms.txt ist ein Vorschlag vom September 2024 für eine Datei, die Sprachmodelle auf die wichtigsten Seiten einer Website hinweist. Wenn Sie eine haben, erhält der Agent sie zusammen mit Ihrer Dokumentation. Wenn nicht, schreiben wir aus Ihrer Dokumentation einen Vorschlag für llms.txt und llms-full.txt. Wir behaupten nicht, dass ein KI-Assistent die Datei von sich aus liest.

Das versprechen wir nicht, und auch nicht mehr Anmeldungen. Der Test misst, wie ein Coding-Agent mit Ihrer Dokumentation bei Ihren Aufgaben abschneidet, und die überarbeiteten Passagen beseitigen, was ihn gebremst hat. Wofür sich Entwickler entscheiden, liegt bei ihnen.

Ja. Bestellen Sie den Test noch einmal zum selben Preis und geben Sie an, dass es eine Wiederholung ist: Wir führen dieselben Aufgaben mit demselben Prompt aus und zeigen die Ergebnisse neben dem ersten Durchlauf.

Ja. Senden Sie einen Export, etwa Markdown- oder HTML-Dateien oder eine OpenAPI-Datei, und der Agent liest diese Kopie anstelle Ihrer öffentlichen Website.

Sie werden ausschließlich für Ihren Bericht verwendet. Der Schlüssel wird bei der Lieferung gelöscht, Ihre Dateien und Logs 30 Tage nach der Lieferung, auf Wunsch auch früher, mit schriftlicher Bestätigung. Claude Code läuft unter den kommerziellen Bedingungen von Anthropic. Diese besagen, dass Anthropic seine Modelle nicht mit dem Code oder den Prompts trainiert, die dorthin gesendet werden.

Nein. Wenn Ihr eigenes Produkt Modelle von OpenAI, Anthropic oder Google aufruft und die Rechnung weiter steigt, schlüsselt die Prüfung der LLM-API-Kosten für 990 € die Ausgaben nach Funktion auf und beschreibt die Änderungen, die sie senken.