MistralAI-Training: een trainingscrawler van Mistral

MistralAI-Training is een trainingscrawler. Hij verzamelt pagina's voor toekomstige Mistral-modellen. Mistral beheert deze crawler.

In één oogopslag

Beheerder
Mistral
robots.txt-token
MistralAI-Training
Doel
Training. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Als je ze weert, kunnen crawlers die pagina's ophalen voor antwoorden je site nog steeds lezen. Die hebben eigen namen.
Waarvoor de gegevens worden gebruikt
toekomstige Mistral-modellen

Wat blokkeren verandert

Als je MistralAI-Training weert, worden je pagina's niet verzameld voor toekomstige Mistral-modellen. Crawlers die pagina's ophalen voor antwoorden hebben eigen namen en kunnen je site dus nog steeds lezen.

User-agent

Een representatieve useragent voor MistralAI-Training. We gebruiken de documentatie van de aanbieder als daarin een volledige string is gepubliceerd. Versies en browsergegevens in echte serverlogs kunnen afwijken.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)

robots.txt-regels voor MistralAI-Training

robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).

Toelaten

User-agent: MistralAI-Training
Allow: /

Blokkeren

User-agent: MistralAI-Training
Disallow: /

Laat jouw site deze crawler toe?

De gratis crawlercheck leest je robots.txt voor MistralAI-Training en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.

Controleer of jouw site MistralAI-Training toelaat

Vragen over MistralAI-Training

MistralAI-Training is een trainingscrawler. Hij verzamelt pagina's voor toekomstige Mistral-modellen. Mistral beheert deze crawler.

Dat bepaal je zelf. Als je deze crawler blokkeert, worden je pagina's niet verzameld voor toekomstige Mistral-modellen. Crawlers die pagina's ophalen voor antwoorden blijven toegang houden.

Voeg een groep toe met de naam van de crawler en een regel voor alle paden: “User-agent: MistralAI-Training”, gevolgd door “Disallow: /”. Wil je de crawler toelaten, gebruik dan “Allow: /”.