Cookies auf AIGROW

Wir verwenden notwendige Cookies, damit die Website funktioniert. Mit Ihrer Erlaubnis nutzen wir außerdem Cookies für Analysen, Sitzungsaufzeichnungen und die Marketing-Zuordnung.

Cookie-Richtlinie

Einrichtung des KI-Crawler-Zugriffs: robots.txt, CDN-Regeln und Sitemap so eingestellt, dass die von Ihnen gewählten KI-Crawler Ihre Website lesen können

290 €Festpreis, einmalig bezahltBericht innerhalb von 5 Werktagen nach Zugang

Für 290 € bestellenSo funktioniert es

Dieselben Prüfungen vorher und nachher, und noch einmal 30 Tage später. Geliefert wie aufgelistet, oder Sie erhalten den vollen Betrag zurück.

AIGROW richtet den KI-Crawler-Zugriff für eine Website ein, für einmalig 290 €. Wir prüfen, worauf die wichtigsten KI-Crawler für Suche und Training über Ihre robots.txt, CDN- und Firewall-Regeln, Weiterleitungen und Ihr HTML zugreifen können, legen die Regeln nach Ihrer Entscheidung fest, korrigieren Ihre Sitemap, reichen sie bei Bing und IndexNow ein und prüfen 30 Tage später erneut.

Was die Einrichtung leistet und was nicht

Eine Website kann im Browser einwandfrei aussehen und KI-Crawler trotzdem abweisen: durch eine alte robots.txt-Regel, die von einer anderen Website kopiert wurde, durch eine CDN- oder Firewall-Einstellung für KI-Bots, durch Text, der erst nach der Ausführung von JavaScript erscheint, oder durch eine fehlerhafte Sitemap. Manche Crawler rufen Seiten für KI-Suche und Antworten ab, andere sammeln Seiten, um KI-Modelle zu trainieren. Sie entscheiden, welche Sie zulassen.

Was es leistet
  • Prüft auf bis zu 10 Seiten, worauf die wichtigsten KI-Crawler zugreifen können: Crawler, die Seiten für KI-Suche und Antworten abrufen, etwa OAI-SearchBot, Claude-SearchBot und PerplexityBot, sowie Trainings-Crawler wie GPTBot, ClaudeBot und CCBot
  • Liest Ihre robots.txt, Ihre CDN- oder Firewall-Regeln für Bots, den HTTP-Status und die Weiterleitungen jeder Seite und prüft, ob der Haupttext im HTML steht, bevor JavaScript ausgeführt wird
  • Hält Ihre Entscheidung auf einem Entscheidungsblatt fest: welche Crawler Sie für Suche und Antworten zulassen und welche Trainings-Crawler Sie blockieren, nachdem wir die Abwägung in klaren Worten erklärt haben
  • Stellt robots.txt und Ihre CDN-Regel nach Ihrer Entscheidung ein und korrigiert Ihre XML-Sitemap, mit dem Zugang, den Sie uns geben, oder schickt die Dateien und genaue Schritte an Ihre Entwicklerin oder Ihren Entwickler
  • Reicht Ihre Sitemap bei Bing Webmaster Tools und IndexNow ein, wo Sie uns Zugang geben, und ergänzt auf Wunsch eine llms.txt-Datei
  • Führt dieselben Prüfungen nach den Änderungen und 30 Tage später erneut durch
Was es nicht leistet
  • Es entscheidet nicht für Sie, welche Crawler zugelassen werden: Wir erklären, Sie entscheiden
  • Es verspricht nicht, dass ein KI-Assistent Sie zitiert, erwähnt oder empfiehlt, und auch kein Ranking
  • Es baut Ihre Website nicht um: Erscheint der Haupttext erst nach JavaScript, melden wir das und halten fest, was Ihr Entwicklerteam ändern muss
  • Es hält keine Crawler auf, die robots.txt ignorieren: Eine Regel drückt Ihre Präferenz aus, und manche im Auftrag von Nutzern gestellten Anfragen befolgen sie nicht
  • Es braucht Ihr Passwort nicht: Sie laden hello@aigrow.gg ein oder legen dafür einen temporären Nutzer an, der nach dem Bericht entfernt wird

Von der Zahlung bis zur erneuten Prüfung

Jeder Schritt und wann er stattfindet. Auf Ihrer Website ändert sich nichts, bevor Sie Ihre Entscheidungen schriftlich bestätigt haben.

Beim Checkout bezahlenSie zahlen einmalig per Karte über Stripe. Stripe schickt Ihnen die Quittung.2 Minuten
Antworten und Zugang gebenWir schreiben Ihnen direkt nach der Zahlung. Antworten Sie mit Ihrer Website, Ihrem CDN oder Hoster und Ihren Seiten, und laden Sie dann hello@aigrow.gg ein oder legen Sie dafür einen temporären Nutzer an.15 Minuten
Wir prüfen, was die Crawler erreichenFür jede Seite und jeden Crawler halten wir die robots.txt-Regel, die CDN-Einstellung, den HTTP-Status mit Weiterleitungen und die Frage fest, ob der Haupttext im HTML steht. Danach senden wir Ihnen das Entscheidungsblatt mit der erklärten Abwägung.Innerhalb von 5 WerktagenVom Zugang bis zum Bericht
Wir setzen Ihre gewählten Änderungen umWir stellen robots.txt, Ihre CDN-Regel und Ihre Sitemap ein, ergänzen auf Wunsch llms.txt und reichen die Sitemap bei Bing und IndexNow ein. Oder wir senden die Dateien und Schritte an Ihr Entwicklerteam.Nach Ihrem schriftlichen OK
Bericht ansehenDieselben Prüfungen vorher und nachher, Seite für Seite und Crawler für Crawler. Danach entfernen wir unseren Zugang. 30 Tage später führen wir die Prüfungen erneut durch und senden Ihnen das Ergebnis.Mit den ÄnderungenErneute Prüfung nach 30 Tagen

Eine Website, ihre Crawler-Regeln, ein Preis

Einmalig an der Kasse bezahlt, die nach Ihrer E-Mail-Adresse und Karte fragt. Direkt nach der Zahlung senden wir Ihnen einen kurzen Fragebogen und erklären, wie Sie uns ohne Passwort Zugang geben. Der Bericht folgt innerhalb von 5 Werktagen nach Zugang.

Was wir von Ihnen brauchen

Beantworten Sie unseren Fragebogen mit Ihrer Website, ihrer Plattform, Ihrem CDN oder Hoster, bis zu 10 Seiten und Ihren Entscheidungen. Laden Sie dann hello@aigrow.gg in Ihr CDN-Konto, Ihre Website-Plattform oder Ihren Hoster und in Bing Webmaster Tools ein, oder legen Sie für diese Adresse einen temporären Nutzer an. Senden Sie niemals ein Passwort per E-Mail.

Was Sie erhalten

  • Eine Prüfung von bis zu 10 Seiten für jeden wichtigen KI-Crawler: robots.txt, CDN- und Firewall-Regeln, HTTP-Status und Weiterleitungen sowie der Haupttext im HTML
  • Ein Entscheidungsblatt mit Ihrer Wahl für Crawler für Suche und Antworten und für Trainings-Crawler
  • robots.txt und Ihre CDN-Regel wie von Ihnen gewählt eingestellt, oder die Dateien und genauen Schritte für Ihr Entwicklerteam
  • Ihre XML-Sitemap korrigiert und bei Bing Webmaster Tools und IndexNow eingereicht, wo Sie Zugang geben
  • Eine llms.txt-Datei, falls gewünscht
  • Ein Bericht mit denselben Prüfungen vorher und nachher, innerhalb von 5 Werktagen nach Zugang
  • Unser Zugang wird nach dem Bericht entfernt, dazu eine erneute Prüfung 30 Tage später

Einrichtung des KI-Crawler-Zugriffs

290 €

Einmalige Zahlung beim Checkout. Kein Abonnement, keine automatische Verlängerung.

Wenn wir nicht liefern, was auf dieser Seite aufgeführt ist, oder Sie es sich vor Arbeitsbeginn anders überlegen, erhalten Sie den vollen Betrag zurück.

Warum bei AIGROW kaufen

Was Sie vor der Zahlung und nach der Arbeit prüfen können.

Ein Festpreis
290 €, einmalig bezahlt. Kein Abo, nichts verlängert sich. Alles, was enthalten ist, steht vor der Zahlung auf dieser Seite.
Nachweise, die Sie prüfen können
Der Bericht zeigt jede Seite und jeden Crawler vorher und nachher: die geltende robots.txt-Regel, die CDN-Einstellung, den HTTP-Status und ob der Haupttext im HTML steht. Dieselbe Prüfung können Sie mit dem kostenlosen KI-Crawler-Check auch selbst durchführen.
Eine öffentliche Methodik
Die erste Prüfung können Sie selbst durchführen: Der kostenlose KI-Crawler-Check liest Ihre robots.txt und ruft eine Seite als jeder Crawler ab, in wenigen Sekunden und ohne Konto. Kostenlosen KI-Crawler-Check starten

Vor dem Kauf

Was wir prüfen und ändern, und was der Preis nicht verspricht.

Das kann niemand versprechen, und wir tun es auch nicht. Die Einrichtung stellt sicher, dass Ihre eigenen Regeln die von Ihnen gewählten Crawler nicht abweisen und dass Ihre Seiten und Ihre Sitemap gelesen werden können. Ob ein Assistent eine Seite nutzt oder zitiert, entscheidet sein Betreiber. Die Richtlinien für Webmaster von Bing sagen dasselbe über diese Art von Arbeit: Zitate werden nicht garantiert.

Manche Crawler rufen Seiten ab, damit ein KI-Assistent sie finden und in einer Antwort zitieren kann, etwa OAI-SearchBot für die ChatGPT-Suche, Claude-SearchBot und PerplexityBot. Andere sammeln Seiten, um KI-Modelle zu trainieren, etwa GPTBot, ClaudeBot und CCBot. OpenAI und Anthropic dokumentieren für beide Arten jeweils eine eigene Steuerung. So können Sie das Training sperren und die Suche trotzdem erlauben. Wir erklären Ihnen die Vor- und Nachteile, die Entscheidung liegt bei Ihnen.

Ein CDN oder eine Firewall kann KI-Crawler über eine Einstellung blockieren, von der Sie vielleicht nichts wissen. Bei Cloudflare kann jede Website KI-Crawler nach Kategorien erlauben oder blockieren. Domains, die seit dem 15. September 2026 hinzugefügt wurden, blockieren auf Seiten mit Werbeanzeigen standardmäßig Trainings- und Agenten-Crawler. Vercel bietet ein Firewall-Regelwerk für KI-Bots an. Wir lesen die Einstellung aus, die für Ihre Website gilt.

llms.txt ist ein Vorschlag vom September 2024 für eine Datei, die Sprachmodelle auf die wichtigsten Seiten einer Website hinweist. Kein großer KI-Assistent hat bestätigt, dass er die Datei liest, und Google gibt an, dass die Google-Suche sie ignoriert. Wenn Sie eine möchten, schreiben wir sie auf Grundlage Ihrer eigenen Seiten. Wenn nicht, lassen wir sie weg.

Laut Bing stützt sich die Copilot-Suche auf dasselbe Crawling und dieselbe Indexierung wie die Bing-Suche und findet Seiten über XML-Sitemaps und IndexNow. Wo Sie uns Zugang geben, reichen wir deshalb Ihre Sitemap in den Bing Webmaster Tools ein und übermitteln Ihre Seiten über IndexNow.

Wir melden das Seite für Seite. Die Richtlinien von Bing warnen davor, wichtige Inhalte hinter clientseitigem Rendering zu verstecken, und eine im Dezember 2024 veröffentlichte Studie von Vercel und MERJ ergab, dass die Crawler von OpenAI, Anthropic und Perplexity kein JavaScript ausführten. Die Art, wie Ihre Website rendert, zu ändern, ist Entwicklungsarbeit und nicht Teil dieser Einrichtung. Wir halten deshalb schriftlich fest, was Ihr Entwickler anpassen muss.

Nein, und schicken Sie nie ein Passwort per E-Mail. Sie laden hello@aigrow.gg als Mitglied Ihres CDN-Kontos ein, beschränkt auf diese Website, als Nutzer auf Ihrer Website-Plattform oder bei Ihrem Hoster und als Nutzer in den Bing Webmaster Tools. Wenn eine Plattform keine Einladungen zulässt, legen Sie für hello@aigrow.gg einen temporären Nutzer an, und die Plattform schickt uns den Anmeldelink per E-Mail. Wir bewahren ihn in unserem Passwort-Tresor auf und entfernen den Zugang, sobald der Bericht verschickt ist.

Der Bericht mit den Prüfungen vor und nach der Umsetzung liegt innerhalb von 5 Werktagen nach Zugangserteilung vor. Tage, in denen wir auf Ihre Entscheidungen oder Ihren Entwickler warten, zählen nicht mit. Crawler übernehmen Änderungen in ihrem eigenen Tempo, und laut OpenAI kann es etwa 24 Stunden dauern, bis eine Änderung der robots.txt in den Systemen ankommt. Deshalb führen wir 30 Tage später dieselben Prüfungen noch einmal durch.

Möchten Sie wissen, was die Assistenten bereits über Sie sagen?

Das KI-Genauigkeits-Audit fragt ChatGPT, Claude, Gemini und Grok, was Kunden über Ihr Unternehmen wissen wollen, markiert jede falsche Antwort im Vergleich zu Ihren tatsächlichen Angaben und erstellt den Plan zur Korrektur.

Das KI-Genauigkeits-Audit ansehen

Die Leistung, die als Nächstes passt

390 €

Strukturierte Daten und Antwortseiten

Wir ergänzen schema.org-Markup auf bis zu 20 Seiten Ihrer Website und schreiben 5 Seiten, die Fragen Ihrer Kunden beantworten.

Strukturierte Daten und Antwortseiten ansehen

Lassen Sie die KI-Crawler Ihrer Wahl Ihre Website lesen.

Einmal bezahlen, uns Zugang ohne Passwort geben, festlegen, welche Crawler erlaubt sind, und den Bericht innerhalb von 5 Werktagen nach Zugangserteilung erhalten.

Für 290 € bestellenAlle Done-for-you-Services ansehen

290 € · einmalige Zahlung · Lieferung wie beschrieben oder Geld zurück