MistralAI-Training: een trainingscrawler van Mistral
MistralAI-Training is een trainingscrawler. Hij verzamelt pagina's voor toekomstige Mistral-modellen. Mistral beheert deze crawler.
In één oogopslag
- Beheerder
- Mistral
- robots.txt-token
MistralAI-Training- Doel
- Training. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Als je ze weert, kunnen crawlers die pagina's ophalen voor antwoorden je site nog steeds lezen. Die hebben eigen namen.
- Waarvoor de gegevens worden gebruikt
- toekomstige Mistral-modellen
Wat blokkeren verandert
Als je MistralAI-Training weert, worden je pagina's niet verzameld voor toekomstige Mistral-modellen. Crawlers die pagina's ophalen voor antwoorden hebben eigen namen en kunnen je site dus nog steeds lezen.
User-agent
Een representatieve useragent voor MistralAI-Training. We gebruiken de documentatie van de aanbieder als daarin een volledige string is gepubliceerd. Versies en browsergegevens in echte serverlogs kunnen afwijken.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)robots.txt-regels voor MistralAI-Training
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: MistralAI-Training
Allow: /Blokkeren
User-agent: MistralAI-Training
Disallow: /Laat jouw site deze crawler toe?
De gratis crawlercheck leest je robots.txt voor MistralAI-Training en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.