MistralAI-Training: en träningscrawlare som drivs av Mistral
MistralAI-Training är en träningscrawlare. Den samlar in sidor till framtida Mistral-modeller och drivs av Mistral.
Översikt
- Ansvarig för webbplatsen
- Mistral
- robots.txt-token
MistralAI-Training- Syfte
- Träning. Träningscrawlare samlar in sidor till framtida modeller. Att stänga ute dem stoppar inte de crawlare som hämtar sidor för att ge svar. De har egna namn.
- Vad den bidrar till
- framtida Mistral-modeller
Vad som händer om du blockerar den
Om du stänger ute MistralAI-Training kommer dina sidor inte med i det som samlas in till framtida Mistral-modeller. Crawlarna som hämtar sidor för att ge svar har egna namn och kan därför fortfarande läsa din webbplats.
Användaragent
En representativ user agent för MistralAI-Training. Vi använder operatörens dokumentation när en fullständig sträng finns publicerad. Versionsnummer och webbläsaruppgifter i faktiska serverloggar kan skilja sig.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)Rader i robots.txt för MistralAI-Training
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: MistralAI-Training
Allow: /För att stänga den ute
User-agent: MistralAI-Training
Disallow: /Släpper din webbplats in den?
Den kostnadsfria kontrollen läser din robots.txt för MistralAI-Training och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.