MistralAI-Training: ein Trainings-Crawler, den Mistral betreibt

MistralAI-Training ist ein Trainings-Crawler. Er sammelt Seiten für den jeweiligen Zweck (künftige Mistral-Modelle). Betrieben wird er von Mistral.

Auf einen Blick

Betreiber
Mistral
robots.txt-Token
MistralAI-Training
Zweck
Training. Trainings-Crawler sammeln Seiten für künftige Modelle. Wenn Sie sie aussperren, halten Sie damit nicht die Crawler auf, die Seiten für Antworten abrufen. Diese haben eigene Namen.
Wofür er Daten liefert
künftige Mistral-Modelle

Was sich durch das Blockieren ändert

Wenn Sie MistralAI-Training aussperren, werden Ihre Seiten nicht für den jeweiligen Zweck (künftige Mistral-Modelle) gesammelt. Die Crawler, die Seiten für Antworten abrufen, haben eigene Namen und können Ihre Website weiterhin lesen.

User-Agent

Ein repräsentativer User-Agent (MistralAI-Training). Wir richten uns nach der Dokumentation des jeweiligen Betreibers, sofern darin die vollständige Zeichenfolge veröffentlicht ist. Versions- und Browserangaben in echten Serverprotokollen können davon abweichen.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)

robots.txt-Zeilen für MistralAI-Training

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).

Zulassen

User-agent: MistralAI-Training
Allow: /

Sperren

User-agent: MistralAI-Training
Disallow: /

Lässt Ihre Website den Crawler zu?

Die kostenlose Crawler-Prüfung liest Ihre robots.txt für MistralAI-Training und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.

Prüfen Sie, ob Ihre Website MistralAI-Training zulässt

Fragen zu MistralAI-Training

MistralAI-Training ist ein Trainings-Crawler. Er sammelt Seiten für den jeweiligen Zweck (künftige Mistral-Modelle). Betrieben wird er von Mistral.

Das entscheiden Sie. Wenn Sie den Crawler blockieren, werden Ihre Seiten nicht für den jeweiligen Zweck (künftige Mistral-Modelle) gesammelt. Die Crawler, die Seiten für Antworten abrufen, bleiben davon unberührt.

Fügen Sie eine Gruppe mit diesem Namen und einer Regel für alle Pfade hinzu: „User-agent: MistralAI-Training“, gefolgt von „Disallow: /“. Wenn Sie den Crawler zulassen möchten, schreiben Sie stattdessen „Allow: /“.