MistralAI-Training: ein Trainings-Crawler, den Mistral betreibt
MistralAI-Training ist ein Trainings-Crawler. Er sammelt Seiten für den jeweiligen Zweck (künftige Mistral-Modelle). Betrieben wird er von Mistral.
Auf einen Blick
- Betreiber
- Mistral
- robots.txt-Token
MistralAI-Training- Zweck
- Training. Trainings-Crawler sammeln Seiten für künftige Modelle. Wenn Sie sie aussperren, halten Sie damit nicht die Crawler auf, die Seiten für Antworten abrufen. Diese haben eigene Namen.
- Wofür er Daten liefert
- künftige Mistral-Modelle
Was sich durch das Blockieren ändert
Wenn Sie MistralAI-Training aussperren, werden Ihre Seiten nicht für den jeweiligen Zweck (künftige Mistral-Modelle) gesammelt. Die Crawler, die Seiten für Antworten abrufen, haben eigene Namen und können Ihre Website weiterhin lesen.
User-Agent
Ein repräsentativer User-Agent (MistralAI-Training). Wir richten uns nach der Dokumentation des jeweiligen Betreibers, sofern darin die vollständige Zeichenfolge veröffentlicht ist. Versions- und Browserangaben in echten Serverprotokollen können davon abweichen.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)robots.txt-Zeilen für MistralAI-Training
robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).
Zulassen
User-agent: MistralAI-Training
Allow: /Sperren
User-agent: MistralAI-Training
Disallow: /Lässt Ihre Website den Crawler zu?
Die kostenlose Crawler-Prüfung liest Ihre robots.txt für MistralAI-Training und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.